Meerkeuzevragen: Redenering Maakt Grote Taalmodellen (LLM's) Zelfverzekerder, Zelfs Wanneer Ze Het Mis Hebben

Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident Even When They Are Wrong

January 16, 2025

Auteurs: Tairan Fu, Javier Conde, Gonzalo Martínez, María Grandury, Pedro Reviriego

cs.AI

Samenvatting

Een van de meest gebruikte methoden om LLM's te evalueren zijn Meerkeuzevragen (MCV) tests. MCV-benchmarks maken het mogelijk om op grote schaal de kennis van LLM's over bijna elk onderwerp te testen, aangezien de resultaten automatisch verwerkt kunnen worden. Om de LLM te helpen bij het beantwoorden, kunnen enkele voorbeelden genaamd 'few shots' in de opdracht worden opgenomen. Bovendien kan de LLM worden gevraagd om de vraag direct te beantwoorden met de geselecteerde optie of eerst de redenering te geven en vervolgens het geselecteerde antwoord, wat bekend staat als 'chain of thought'. Naast het controleren of het geselecteerde antwoord juist is, kan de evaluatie kijken naar de door de LLM geschatte waarschijnlijkheid van zijn reactie als een indicatie van het vertrouwen van de LLM in het antwoord. In dit artikel bestuderen we hoe het vertrouwen van de LLM in zijn antwoord afhangt van of het model is gevraagd om direct te antwoorden of eerst de redenering te geven voordat het antwoordt. De resultaten van de evaluatie van vragen over een breed scala aan onderwerpen in zeven verschillende modellen tonen aan dat LLM's meer vertrouwen hebben in hun antwoorden wanneer ze eerst de redenering geven voordat ze antwoorden. Dit gebeurt ongeacht of het geselecteerde antwoord juist is. Onze hypothese is dat dit gedrag te wijten is aan de redenering die de waarschijnlijkheid van het geselecteerde antwoord wijzigt, aangezien de LLM het antwoord voorspelt op basis van de inputvraag en de redenering die de gemaakte selectie ondersteunt. Daarom lijken de geschatte waarschijnlijkheden van LLM's intrinsieke beperkingen te hebben die moeten worden begrepen om ze te gebruiken in evaluatieprocedures. Interessant genoeg is hetzelfde gedrag waargenomen bij mensen, voor wie het uitleggen van een antwoord het vertrouwen in de juistheid ervan vergroot.

English

One of the most widely used methods to evaluate LLMs are Multiple Choice Question (MCQ) tests. MCQ benchmarks enable the testing of LLM knowledge on almost any topic at scale as the results can be processed automatically. To help the LLM answer, a few examples called few shots can be included in the prompt. Moreover, the LLM can be asked to answer the question directly with the selected option or to first provide the reasoning and then the selected answer, which is known as chain of thought. In addition to checking whether the selected answer is correct, the evaluation can look at the LLM-estimated probability of its response as an indication of the confidence of the LLM in the response. In this paper, we study how the LLM confidence in its answer depends on whether the model has been asked to answer directly or to provide the reasoning before answering. The results of the evaluation of questions on a wide range of topics in seven different models show that LLMs are more confident in their answers when they provide reasoning before the answer. This occurs regardless of whether the selected answer is correct. Our hypothesis is that this behavior is due to the reasoning that modifies the probability of the selected answer, as the LLM predicts the answer based on the input question and the reasoning that supports the selection made. Therefore, LLM estimated probabilities seem to have intrinsic limitations that should be understood in order to use them in evaluation procedures. Interestingly, the same behavior has been observed in humans, for whom explaining an answer increases confidence in its correctness.