Sur la Mémorisation des Grands Modèles de Langage dans le Raisonnement Logique

On Memorization of Large Language Models in Logical Reasoning

October 30, 2024

Auteurs: Chulin Xie, Yangsibo Huang, Chiyuan Zhang, Da Yu, Xinyun Chen, Bill Yuchen Lin, Bo Li, Badih Ghazi, Ravi Kumar

cs.AI

Résumé

Les grands modèles de langage (LLMs) obtiennent de bonnes performances sur des benchmarks de raisonnement complexes, mais peuvent également commettre des erreurs de raisonnement basiques. Ce comportement contrasté est déconcertant lorsqu'il s'agit de comprendre les mécanismes sous-jacents aux capacités de raisonnement des LLMs. Une hypothèse est que les performances de plus en plus élevées et presque saturées sur les benchmarks de raisonnement courants pourraient être dues à la mémorisation de problèmes similaires. Dans cet article, nous examinons systématiquement cette hypothèse avec une mesure quantitative de la mémorisation dans les tâches de raisonnement, en utilisant un benchmark de raisonnement logique généré dynamiquement basé sur les énigmes des Chevaliers et des Valets (K&K). Nous avons constaté que les LLMs pouvaient interpoler les énigmes d'entraînement (atteignant une précision presque parfaite) après un affinage, mais échouaient lorsque ces énigmes étaient légèrement perturbées, suggérant que les modèles s'appuient fortement sur la mémorisation pour résoudre ces énigmes d'entraînement. D'autre part, nous montrons que si l'affinage entraîne une forte mémorisation, il améliore également de manière constante les performances de généralisation. Des analyses approfondies avec des tests de perturbation, le transfert entre niveaux de difficulté, l'exploration des internes du modèle et l'affinage avec des réponses incorrectes suggèrent que les LLMs apprennent à raisonner sur les énigmes K&K malgré la mémorisation des données d'entraînement. Ce phénomène indique que les LLMs présentent une interaction complexe entre la mémorisation et les véritables capacités de raisonnement. Enfin, notre analyse avec le score de mémorisation par échantillon éclaire la manière dont les LLMs passent du raisonnement à la mémorisation pour résoudre des énigmes logiques. Notre code et nos données sont disponibles sur https://memkklogic.github.io.

English

Large language models (LLMs) achieve good performance on challenging reasoning benchmarks, yet could also make basic reasoning mistakes. This contrasting behavior is puzzling when it comes to understanding the mechanisms behind LLMs' reasoning capabilities. One hypothesis is that the increasingly high and nearly saturated performance on common reasoning benchmarks could be due to the memorization of similar problems. In this paper, we systematically investigate this hypothesis with a quantitative measurement of memorization in reasoning tasks, using a dynamically generated logical reasoning benchmark based on Knights and Knaves (K&K) puzzles. We found that LLMs could interpolate the training puzzles (achieving near-perfect accuracy) after fine-tuning, yet fail when those puzzles are slightly perturbed, suggesting that the models heavily rely on memorization to solve those training puzzles. On the other hand, we show that while fine-tuning leads to heavy memorization, it also consistently improves generalization performance. In-depth analyses with perturbation tests, cross difficulty-level transferability, probing model internals, and fine-tuning with wrong answers suggest that the LLMs learn to reason on K&K puzzles despite training data memorization. This phenomenon indicates that LLMs exhibit a complex interplay between memorization and genuine reasoning abilities. Finally, our analysis with per-sample memorization score sheds light on how LLMs switch between reasoning and memorization in solving logical puzzles. Our code and data are available at https://memkklogic.github.io.