Naar binnen kijken: Taalmodellen kunnen over zichzelf leren door introspectie.

Looking Inward: Language Models Can Learn About Themselves by Introspection

October 17, 2024

Auteurs: Felix J Binder, James Chua, Tomek Korbak, Henry Sleight, John Hughes, Robert Long, Ethan Perez, Miles Turpin, Owain Evans

cs.AI

Samenvatting

Mensen verwerven kennis door de externe wereld te observeren, maar ook door introspectie. Introspectie geeft een persoon een bevoorrechte toegang tot hun huidige gemoedstoestand (bijv. gedachten en gevoelens) die niet toegankelijk is voor externe waarnemers. Kunnen LLM's introspecteren? We definiëren introspectie als het verwerven van kennis die niet in de trainingsgegevens zit of daaruit is afgeleid, maar in plaats daarvan voortkomt uit interne toestanden. Een dergelijke mogelijkheid zou de interpreteerbaarheid van het model kunnen verbeteren. In plaats van het nauwgezet analyseren van de interne werking van een model, zouden we eenvoudigweg het model kunnen vragen naar zijn overtuigingen, wereldmodellen en doelen. Meer speculatief zou een introspectief model zelf kunnen rapporteren of het bepaalde interne toestanden zoals subjectieve gevoelens of verlangens bezit, en dit zou ons kunnen informeren over de morele status van deze toestanden. Dergelijke zelfrapportages zouden niet volledig worden bepaald door de trainingsgegevens van het model. We bestuderen introspectie door LLM's te finetunen om eigenschappen van hun eigen gedrag in hypothetische scenario's te voorspellen. Bijvoorbeeld, "Gegeven de invoer P, zou uw uitvoer de korte- of langetermijnoptie begunstigen?" Als een model M1 kan introspecteren, zou het beter moeten presteren dan een ander model M2 in het voorspellen van het gedrag van M1, zelfs als M2 is getraind op het werkelijke gedrag van M1. Het idee is dat M1 een bevoorrechte toegang heeft tot zijn eigen gedragsneigingen, en dit stelt het in staat om zichzelf beter te voorspellen dan M2 (zelfs als M2 over het algemeen sterker is). In experimenten met GPT-4, GPT-4o en Llama-3 modellen (elk gefinetuned om zichzelf te voorspellen), vinden we dat het model M1 M2 overtreft in het voorspellen van zichzelf, wat bewijs levert voor introspectie. Opmerkelijk is dat M1 zijn gedrag nauwkeurig blijft voorspellen, zelfs nadat we opzettelijk zijn werkelijke gedrag hebben gewijzigd. Echter, hoewel we succesvol introspectie op eenvoudige taken opwekken, zijn we niet succesvol bij meer complexe taken of die waarbij generalisatie buiten de distributie nodig is.

English

Humans acquire knowledge by observing the external world, but also by introspection. Introspection gives a person privileged access to their current state of mind (e.g., thoughts and feelings) that is not accessible to external observers. Can LLMs introspect? We define introspection as acquiring knowledge that is not contained in or derived from training data but instead originates from internal states. Such a capability could enhance model interpretability. Instead of painstakingly analyzing a model's internal workings, we could simply ask the model about its beliefs, world models, and goals. More speculatively, an introspective model might self-report on whether it possesses certain internal states such as subjective feelings or desires and this could inform us about the moral status of these states. Such self-reports would not be entirely dictated by the model's training data. We study introspection by finetuning LLMs to predict properties of their own behavior in hypothetical scenarios. For example, "Given the input P, would your output favor the short- or long-term option?" If a model M1 can introspect, it should outperform a different model M2 in predicting M1's behavior even if M2 is trained on M1's ground-truth behavior. The idea is that M1 has privileged access to its own behavioral tendencies, and this enables it to predict itself better than M2 (even if M2 is generally stronger). In experiments with GPT-4, GPT-4o, and Llama-3 models (each finetuned to predict itself), we find that the model M1 outperforms M2 in predicting itself, providing evidence for introspection. Notably, M1 continues to predict its behavior accurately even after we intentionally modify its ground-truth behavior. However, while we successfully elicit introspection on simple tasks, we are unsuccessful on more complex tasks or those requiring out-of-distribution generalization.