Visual-RFT: Визуальная тонкая настройка с подкреплением

Visual-RFT: Visual Reinforcement Fine-Tuning

March 3, 2025

Авторы: Ziyu Liu, Zeyi Sun, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Haodong Duan, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Тонкая настройка с подкреплением (Reinforcement Fine-Tuning, RFT) в крупных моделях рассуждений, таких как OpenAI o1, обучается на основе обратной связи по своим ответам, что особенно полезно в приложениях, где данные для тонкой настройки ограничены. Недавние работы с открытым исходным кодом, такие как DeepSeek-R1, демонстрируют, что обучение с подкреплением с проверяемыми наградами является ключевым направлением в воспроизведении o1. Хотя модель в стиле R1 показала успехи в языковых моделях, её применение в мультимодальных областях остается недостаточно изученным. Данная работа представляет Visual Reinforcement Fine-Tuning (Visual-RFT), который расширяет области применения RFT на визуальные задачи. В частности, Visual-RFT сначала использует крупные визуально-языковые модели (Large Vision-Language Models, LVLMs) для генерации нескольких ответов, содержащих токены рассуждений и итоговые ответы для каждого входного данных, а затем применяет предложенные функции проверяемых наград на основе визуального восприятия для обновления модели с помощью алгоритма оптимизации политики, такого как Group Relative Policy Optimization (GRPO). Мы разрабатываем различные проверяемые функции наград для различных задач восприятия, например, награду Intersection over Union (IoU) для обнаружения объектов. Экспериментальные результаты на задачах тонкой классификации изображений, обнаружения объектов с малым количеством примеров, обоснования рассуждений, а также на бенчмарках обнаружения объектов с открытым словарем демонстрируют конкурентоспособную производительность и улучшенную способность к обобщению Visual-RFT по сравнению с Supervised Fine-tuning (SFT). Например, Visual-RFT повышает точность на 24,3% по сравнению с базовым уровнем в задаче однократной тонкой классификации изображений с использованием около 100 образцов. В задаче обнаружения объектов с малым количеством примеров Visual-RFT также превосходит базовый уровень на 21,9 в настройке COCO с двумя примерами и на 15,4 в LVIS. Наш Visual-RFT представляет собой смену парадигмы в тонкой настройке LVLMs, предлагая эффективный по данным, управляемый наградами подход, который улучшает рассуждения и адаптируемость для задач, специфичных для конкретных областей.

English

Reinforcement Fine-Tuning (RFT) in Large Reasoning Models like OpenAI o1 learns from feedback on its answers, which is especially useful in applications when fine-tuning data is scarce. Recent open-source work like DeepSeek-R1 demonstrates that reinforcement learning with verifiable reward is one key direction in reproducing o1. While the R1-style model has demonstrated success in language models, its application in multi-modal domains remains under-explored. This work introduces Visual Reinforcement Fine-Tuning (Visual-RFT), which further extends the application areas of RFT on visual tasks. Specifically, Visual-RFT first uses Large Vision-Language Models (LVLMs) to generate multiple responses containing reasoning tokens and final answers for each input, and then uses our proposed visual perception verifiable reward functions to update the model via the policy optimization algorithm such as Group Relative Policy Optimization (GRPO). We design different verifiable reward functions for different perception tasks, such as the Intersection over Union (IoU) reward for object detection. Experimental results on fine-grained image classification, few-shot object detection, reasoning grounding, as well as open-vocabulary object detection benchmarks show the competitive performance and advanced generalization ability of Visual-RFT compared with Supervised Fine-tuning (SFT). For example, Visual-RFT improves accuracy by 24.3% over the baseline in one-shot fine-grained image classification with around 100 samples. In few-shot object detection, Visual-RFT also exceeds the baseline by 21.9 on COCO's two-shot setting and 15.4 on LVIS. Our Visual-RFT represents a paradigm shift in fine-tuning LVLMs, offering a data-efficient, reward-driven approach that enhances reasoning and adaptability for domain-specific tasks.