Sulla Memorizzazione dei Grandi Modelli Linguistici nella Ragionamento Logico

On Memorization of Large Language Models in Logical Reasoning

October 30, 2024

Autori: Chulin Xie, Yangsibo Huang, Chiyuan Zhang, Da Yu, Xinyun Chen, Bill Yuchen Lin, Bo Li, Badih Ghazi, Ravi Kumar

cs.AI

Abstract

I grandi modelli linguistici (LLM) raggiungono buone prestazioni su sfide di ragionamento impegnative, ma potrebbero anche commettere errori di ragionamento di base. Questo comportamento contrastante risulta enigmatico quando si tratta di comprendere i meccanismi alla base delle capacità di ragionamento dei LLM. Un'ipotesi è che le prestazioni sempre più elevate e quasi sature su comuni test di ragionamento potrebbero derivare dalla memorizzazione di problemi simili. In questo articolo, indaghiamo sistematicamente questa ipotesi con una misurazione quantitativa della memorizzazione in compiti di ragionamento, utilizzando un banco di prova di ragionamento logico generato dinamicamente basato sui puzzle dei Cavalieri e dei Bugiardi (K&K). Abbiamo scoperto che i LLM possono interpolare i puzzle di addestramento (raggiungendo un'accuratezza quasi perfetta) dopo il raffinamento, ma falliscono quando quei puzzle vengono leggermente alterati, suggerendo che i modelli dipendano pesantemente dalla memorizzazione per risolvere quei puzzle di addestramento. D'altro canto, dimostriamo che mentre il raffinamento porta a una pesante memorizzazione, migliora anche costantemente le prestazioni di generalizzazione. Analisi approfondite con test di perturbazione, trasferibilità tra diversi livelli di difficoltà, esplorazione degli interni del modello e raffinamento con risposte sbagliate suggeriscono che i LLM imparino a ragionare sui puzzle K&K nonostante la memorizzazione dei dati di addestramento. Questo fenomeno indica che i LLM mostrano un complesso intreccio tra memorizzazione e autentiche capacità di ragionamento. Infine, la nostra analisi con il punteggio di memorizzazione per campione getta luce su come i LLM passino tra il ragionamento e la memorizzazione nella risoluzione di enigmi logici. Il nostro codice e i dati sono disponibili su https://memkklogic.github.io.

English

Large language models (LLMs) achieve good performance on challenging reasoning benchmarks, yet could also make basic reasoning mistakes. This contrasting behavior is puzzling when it comes to understanding the mechanisms behind LLMs' reasoning capabilities. One hypothesis is that the increasingly high and nearly saturated performance on common reasoning benchmarks could be due to the memorization of similar problems. In this paper, we systematically investigate this hypothesis with a quantitative measurement of memorization in reasoning tasks, using a dynamically generated logical reasoning benchmark based on Knights and Knaves (K&K) puzzles. We found that LLMs could interpolate the training puzzles (achieving near-perfect accuracy) after fine-tuning, yet fail when those puzzles are slightly perturbed, suggesting that the models heavily rely on memorization to solve those training puzzles. On the other hand, we show that while fine-tuning leads to heavy memorization, it also consistently improves generalization performance. In-depth analyses with perturbation tests, cross difficulty-level transferability, probing model internals, and fine-tuning with wrong answers suggest that the LLMs learn to reason on K&K puzzles despite training data memorization. This phenomenon indicates that LLMs exhibit a complex interplay between memorization and genuine reasoning abilities. Finally, our analysis with per-sample memorization score sheds light on how LLMs switch between reasoning and memorization in solving logical puzzles. Our code and data are available at https://memkklogic.github.io.