HoT: Выделенная Цепь Рассуждений для Ссылок на Подтверждающие Факты из Входных Данных

HoT: Highlighted Chain of Thought for Referencing Supporting Facts from Inputs

March 3, 2025

Авторы: Tin Nguyen, Logan Bolton, Mohammad Reza Taesiri, Anh Totti Nguyen

cs.AI

Аннотация

Ахиллесовой пятой крупных языковых моделей (LLM) является их склонность к генерации не соответствующих действительности утверждений. Ответ, содержащий как фактические, так и не фактические утверждения, создает сложности для людей в проверке и принятии решений на их основе. Для решения этой проблемы мы предлагаем метод Highlighted Chain-of-Thought Prompting (HoT), который побуждает LLM генерировать ответы с XML-тегами, привязывающими факты к тем, что указаны в запросе. А именно, при получении входного вопроса LLM сначала переформатирует его, добавляя XML-теги для выделения ключевых фактов, а затем генерирует ответ с выделением фактов, ссылающихся на входные данные. Интересно, что в условиях few-shot HoT превосходит стандартный метод цепочки рассуждений (CoT) на широком спектре из 17 задач, включая арифметику, понимание текста и логические рассуждения. Когда людей просят проверить ответы LLM, выделения помогают участникам с ограниченным временем более точно и эффективно распознавать, когда LLM правы. Однако, что удивительно, когда LLM ошибаются, HoT склонны заставлять пользователей поверить, что ответ правильный.

English

An Achilles heel of Large Language Models (LLMs) is their tendency to hallucinate non-factual statements. A response mixed of factual and non-factual statements poses a challenge for humans to verify and accurately base their decisions on. To combat this problem, we propose Highlighted Chain-of-Thought Prompting (HoT), a technique for prompting LLMs to generate responses with XML tags that ground facts to those provided in the query. That is, given an input question, LLMs would first re-format the question to add XML tags highlighting key facts, and then, generate a response with highlights over the facts referenced from the input. Interestingly, in few-shot settings, HoT outperforms vanilla chain of thought prompting (CoT) on a wide range of 17 tasks from arithmetic, reading comprehension to logical reasoning. When asking humans to verify LLM responses, highlights help time-limited participants to more accurately and efficiently recognize when LLMs are correct. Yet, surprisingly, when LLMs are wrong, HoTs tend to make users believe that an answer is correct.