DELIFT: Daten-effizientes Sprachmodell-Instruktionsfeinabstimmung

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Autoren: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Zusammenfassung

Das Feinabstimmen großer Sprachmodelle (LLMs) ist entscheidend, um ihre Leistung bei spezifischen Aufgaben zu verbessern, erfordert jedoch oft viele Ressourcen aufgrund redundanter oder uninformative Daten. Um diese Ineffizienz anzugehen, stellen wir DELIFT (Data Efficient Language model Instruction Fine-Tuning) vor, einen neuartigen Algorithmus, der die Datenauswahl systematisch über die drei Schlüsselstadien der Feinabstimmung optimiert: (1) Instruktionsabstimmung, (2) aufgabenspezifische Feinabstimmung (z. B. Schlussfolgerung, Fragebeantwortung) und (3) kontinuierliche Feinabstimmung (z. B. Integration neuer Datenversionen). Im Gegensatz zu bestehenden Methoden, die sich auf die Optimierung eines einzigen Stadiums konzentrieren oder auf rechenintensive Gradientenberechnungen angewiesen sind, arbeitet DELIFT effizient über alle Stadien hinweg. Zentral für unseren Ansatz ist eine paarweise Nutzmetrik, die quantifiziert, wie vorteilhaft eine Datenauswahl für die Verbesserung der Modellantworten auf andere Daten ist und somit den Informationswert im Verhältnis zu den aktuellen Fähigkeiten des Modells effektiv misst. Durch die Nutzung verschiedener submodularer Funktionen, die auf dieser Metrik angewendet werden, wählt DELIFT diverse und optimale Teilmengen aus, die in allen Stadien der Feinabstimmung nützlich sind. Experimente über verschiedene Aufgaben und Modellskalen zeigen, dass DELIFT die Größe der Feinabstimmungsdaten um bis zu 70 % reduzieren kann, ohne die Leistung zu beeinträchtigen, was erhebliche Recheneinsparungen bietet und bestehende Methoden sowohl in Effizienz als auch Wirksamkeit übertrifft.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.