Эффективное масштабирование во время тестирования с помощью самокалибровки

Efficient Test-Time Scaling via Self-Calibration

February 25, 2025

Авторы: Chengsong Huang, Langlin Huang, Jixuan Leng, Jiacheng Liu, Jiaxin Huang

cs.AI

Аннотация

Увеличение вычислительных ресурсов на этапе тестирования — это простой подход к повышению качества ответов в больших языковых моделях (LLM). Хотя методы Best-of-N и Self-Consistency с мажоритарным голосованием просты и эффективны, они требуют фиксированного числа сэмплированных ответов для каждого запроса, независимо от его сложности. Это может привести к избыточным вычислениям для простых вопросов и недостаточному исследованию для более сложных. В данной работе мы утверждаем, что уверенность модели в ответах может быть использована для повышения эффективности масштабирования на этапе тестирования. К сожалению, LLM известны своей излишней уверенностью и предоставляют ненадежные оценки достоверности. Чтобы устранить это ограничение, мы предлагаем метод Self-Calibration, который заключается в дистилляции уверенности, полученной с помощью Self-Consistency, в саму модель. Это позволяет получать надежные оценки достоверности на этапе тестирования за один прямой проход. Затем мы разрабатываем методы эффективного масштабирования на основе уверенности для обработки запросов различной сложности, такие как Early-Stopping для Best-of-N и Self-Consistency с калиброванной уверенностью. Эксперименты на трех LLM и шести наборах данных демонстрируют эффективность нашего подхода. В частности, применение Early Stopping на основе уверенности к Best-of-N повышает точность на MathQA с 81.0 до 83.6 при бюджете в 16 ответов, что подтверждает эффективность стратегии сэмплирования на основе уверенности на этапе вывода.

English

Increasing test-time computation is a straightforward approach to enhancing the quality of responses in Large Language Models (LLMs). While Best-of-N sampling and Self-Consistency with majority voting are simple and effective, they require a fixed number of sampling responses for each query, regardless of its complexity. This could result in wasted computation for simpler questions and insufficient exploration for more challenging ones. In this work, we argue that model confidence of responses can be used for improving the efficiency of test-time scaling. Unfortunately, LLMs are known to be overconfident and provide unreliable confidence estimation. To address this limitation, we introduce Self-Calibration by distilling Self-Consistency-derived confidence into the model itself. This enables reliable confidence estimation at test time with one forward pass. We then design confidence-based efficient test-time scaling methods to handle queries of various difficulty, such as Early-Stopping for Best-of-N and Self-Consistency with calibrated confidence. Experiments on three LLMs across six datasets demonstrate the effectiveness of our approach. Specifically, applying confidence-based Early Stopping to Best-of-N improves MathQA accuracy from 81.0 to 83.6 with a sample budget of 16 responses, indicating the efficacy of confidence-based sampling strategy at inference time.