Multiple-Choice-Fragen: Schlussfolgerungen lassen große Sprachmodelle (LLMs) selbstbewusster erscheinen, auch wenn sie falsch liegen.

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

January 16, 2025

Autoren: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

cs.AI

Zusammenfassung

Eine der am weitesten verbreiteten Methoden zur Bewertung von Sprachmodellen mit begrenzter Lernfähigkeit (LLMs) sind Multiple-Choice-Fragen (MCQ) Tests. MCQ-Benchmarks ermöglichen die Skalierung der Prüfung des Wissens von LLMs zu nahezu jedem Thema, da die Ergebnisse automatisch verarbeitet werden können. Um dem LLM bei der Beantwortung zu helfen, können einige Beispiele, sogenannte "few shots", in die Aufforderung aufgenommen werden. Darüber hinaus kann das LLM aufgefordert werden, die Frage direkt mit der ausgewählten Option zu beantworten oder zunächst die Begründung zu liefern und dann die ausgewählte Antwort, was als "chain of thought" bekannt ist. Neben der Überprüfung, ob die ausgewählte Antwort korrekt ist, kann die Bewertung auch die vom LLM geschätzte Wahrscheinlichkeit seiner Antwort betrachten, als Hinweis auf das Vertrauen des LLM in die Antwort. In diesem Artikel untersuchen wir, wie das Vertrauen des LLM in seine Antwort davon abhängt, ob das Modell aufgefordert wurde, direkt zu antworten oder die Begründung vor der Antwort zu liefern. Die Ergebnisse der Bewertung von Fragen zu einer Vielzahl von Themen in sieben verschiedenen Modellen zeigen, dass LLMs selbstbewusster in ihren Antworten sind, wenn sie die Begründung vor der Antwort liefern. Dies geschieht unabhängig davon, ob die ausgewählte Antwort korrekt ist. Unsere Hypothese ist, dass dieses Verhalten auf die Begründung zurückzuführen ist, die die Wahrscheinlichkeit der ausgewählten Antwort modifiziert, da das LLM die Antwort basierend auf der Eingangsfrage und der Begründung, die die getroffene Auswahl unterstützt, vorhersagt. Daher scheinen die geschätzten Wahrscheinlichkeiten von LLM intrinsische Einschränkungen zu haben, die verstanden werden sollten, um sie in Bewertungsverfahren zu verwenden. Interessanterweise wurde dasselbe Verhalten auch bei Menschen beobachtet, für die die Erklärung einer Antwort das Vertrauen in deren Richtigkeit erhöht.

English

One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.