LADDER: Самосовершенствующиеся языковые модели через рекурсивную декомпозицию задач

LADDER: Self-Improving LLMs Through Recursive Problem Decomposition

March 2, 2025

Авторы: Toby Simonds, Akira Yoshiyama

cs.AI

Аннотация

Мы представляем LADDER (Learning through Autonomous Difficulty-Driven Example Recursion) — фреймворк, который позволяет крупным языковым моделям автономно улучшать свои способности к решению задач через самообучение, рекурсивно генерируя и решая постепенно упрощающиеся варианты сложных проблем. В отличие от предыдущих подходов, требующих тщательно отобранных наборов данных или обратной связи от человека, LADDER использует собственные возможности модели для создания более простых вариантов вопросов. Мы демонстрируем эффективность LADDER в области математического интегрирования, повышая точность модели Llama 3.2 3B с 1% до 82% на задачах уровня бакалавриата и позволяя модели Qwen2.5 7B Deepseek-R1 Distilled достичь 73% на квалификационном экзамене MIT Integration Bee. Мы также представляем TTRL (Test-Time Reinforcement Learning), где выполняем обучение с подкреплением на вариантах тестовых задач во время вывода. TTRL позволяет модели Qwen2.5 7B Deepseek-R1 Distilled достичь рекордного результата в 90% на квалификационном экзамене MIT Integration Bee, превосходя производительность OpenAI o1. Эти результаты показывают, как стратегическое самообучение может достичь значительного улучшения возможностей без необходимости масштабирования архитектуры или участия человека.

English

We introduce LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), a framework which enables Large Language Models to autonomously improve their problem-solving capabilities through self-guided learning by recursively generating and solving progressively simpler variants of complex problems. Unlike prior approaches that require curated datasets or human feedback, LADDER leverages a model's own capabilities to generate easier question variants. We demonstrate LADDER's effectiveness in the subject of mathematical integration, improving Llama 3.2 3B's accuracy from 1% to 82% on undergraduate-level problems and enabling Qwen2.5 7B Deepseek-R1 Distilled to achieve 73% on the MIT Integration Bee qualifying examination. We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. These results show how self-directed strategic learning can achieve significant capability improvements without relying on architectural scaling or human supervision.