Abstract. In this work, we introduce SoRFT, a novel framework for resolving complex issues by decomposing them into subtasks and applying reinforced fine-tuning. Traditional approaches often struggle with intricate problems that require multi-step reasoning and adaptation. SoRFT addresses this by breaking down the main task into manageable subtasks, each fine-tuned with reinforcement learning to optimize performance. Our experiments demonstrate that SoRFT significantly outperforms baseline methods across various benchmarks, showcasing its effectiveness in handling complex, multi-faceted challenges. The framework's modular design also allows for easy integration with existing systems, making it a versatile tool for real-world applications.
Keywords: Subtask decomposition, reinforced fine-tuning, multi-step reasoning, complex issue resolution, modular frameworkSoRFT: Решение задач с использованием тонкой настройки, ориентированной на подзадачи, с подкреплением
Аннотация. В данной работе мы представляем SoRFT — новый подход к решению сложных задач путем их декомпозиции на подзадачи и применения тонкой настройки с подкреплением. Традиционные методы часто сталкиваются с трудностями при решении сложных проблем, требующих многошагового рассуждения и адаптации. SoRFT решает эту проблему, разбивая основную задачу на управляемые подзадачи, каждая из которых настраивается с использованием обучения с подкреплением для оптимизации производительности. Наши эксперименты показывают, что SoRFT значительно превосходит базовые методы на различных тестовых наборах, демонстрируя свою эффективность в решении сложных, многогранных задач. Модульная структура фреймворка также позволяет легко интегрировать его в существующие системы, делая его универсальным инструментом для практического применения.
Ключевые слова: декомпозиция подзадач, тонкая настройка с подкреплением, многошаговое рассуждение, решение сложных задач, модульный фреймворк
SoRFT: Issue Resolving with Subtask-oriented Reinforced Fine-Tuning