Kritiek Fine-Tuning: Leren om kritiek te geven is effectiever dan leren imiteren.

Critique Fine-Tuning: Learning to Critique is More Effective than Learning to Imitate

January 29, 2025

Auteurs: Yubo Wang, Xiang Yue, Wenhu Chen

cs.AI

Samenvatting

Onder begeleid fijnafstemmen (SFT) wordt vaak gebruikt om taalmodellen te trainen om geannoteerde antwoorden na te bootsen voor gegeven instructies. In dit artikel dagen we dit paradigma uit en stellen we Critique Fine-Tuning (CFT) voor, een strategie waarbij modellen leren kritiek te leveren op lawaaierige antwoorden in plaats van eenvoudig correcte na te bootsen. Geïnspireerd door menselijke leerprocessen die kritisch denken benadrukken, moedigt CFT diepgaande analyse en genuanceerd begrip aan - eigenschappen die vaak over het hoofd worden gezien door standaard SFT. Om de effectiviteit van CFT te valideren, construeren we een dataset van 50K monsters van WebInstruct, waarbij we GPT-4o als leraar gebruiken om kritieken te genereren in de vorm van (input=[query; lawaaierig antwoord], output=kritiek). CFT op deze dataset levert een consistente verbetering van 4-10% op ten opzichte van SFT op zes wiskundige benchmarks met verschillende basismodellen zoals Qwen2.5, Qwen2.5-Math en DeepSeek-Math. We breiden verder uit naar MetaMath en NuminaMath datasets en observeren vergelijkbare winsten ten opzichte van SFT. Opmerkelijk genoeg presteert ons Qwen2.5-Math-CFT-model - getraind op slechts 50K monsters - even goed of beter dan concurrerende modellen zoals AceMath en Qwen2.5-Math-Instruct op de meeste benchmarks, die beide meer dan 2M monsters gebruiken. Ablatiestudies tonen aan dat CFT robuust is ten opzichte van de bron van lawaaierig antwoord en het leraarmodel voor kritiek. Op basis van deze bevindingen betogen we dat op kritiek gebaseerde training een effectievere alternatief biedt om de redenering van taalmodellen te bevorderen.

English

Supervised Fine-Tuning (SFT) is commonly used to train language models to imitate annotated responses for given instructions. In this paper, we challenge this paradigm and propose Critique Fine-Tuning (CFT), a strategy where models learn to critique noisy responses rather than simply imitate correct ones. Inspired by human learning processes that emphasize critical thinking, CFT encourages deeper analysis and nuanced understanding-traits often overlooked by standard SFT. To validate the effectiveness of CFT, we construct a 50K-sample dataset from WebInstruct, using GPT-4o as the teacher to generate critiques in the form of (input=[query; noisy response], output=critique). CFT on this dataset yields a consistent 4-10% improvement over SFT on six math benchmarks with different base models like Qwen2.5, Qwen2.5-Math and DeepSeek-Math. We further expand to MetaMath and NuminaMath datasets and observe similar gains over SFT. Notably, our Qwen2.5-Math-CFT model-trained on just 50K samples-matches or outperforms competitive models such as AceMath and Qwen2.5-Math-Instruct on most benchmarks, both of which use over 2M samples. Ablation studies show that CFT is robust to the source of noisy response and teacher critique model. Through these findings, we argue that critique-based training offers a more effective alternative to advance the reasoning of language models.