DELIFT: Addestramento Fine Tuning Efficientemente dei Modelli Linguistici con Pochi Dati

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Autori: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Abstract

Il raffinamento dei grandi modelli linguistici (LLM) è essenziale per migliorare le loro prestazioni su compiti specifici, ma spesso richiede molte risorse a causa di dati ridondanti o non informativi. Per affrontare questa inefficienza, presentiamo DELIFT (Data Efficient Language model Instruction Fine-Tuning), un algoritmo innovativo che ottimizza sistematicamente la selezione dei dati attraverso le tre fasi chiave del raffinamento: (1) raffinamento delle istruzioni, (2) raffinamento specifico del compito (ad esempio, ragionamento, risposta alle domande) e (3) raffinamento continuo (ad esempio, incorporando nuove versioni dei dati). A differenza dei metodi esistenti che si concentrano sull'ottimizzazione a singolo stadio o si basano su calcoli del gradiente computazionalmente intensivi, DELIFT opera in modo efficiente su tutte le fasi. Al centro del nostro approccio c'è una metrica di utilità a coppie che quantifica quanto sia benefico un campione di dati per migliorare le risposte del modello ad altri campioni, misurando efficacemente il valore informativo rispetto alle capacità attuali del modello. Sfruttando diverse funzioni submodulari applicate a questa metrica, DELIFT seleziona sottoinsiemi diversi e ottimali che sono utili in tutte le fasi del raffinamento. Gli esperimenti su vari compiti e scale di modelli dimostrano che DELIFT può ridurre le dimensioni dei dati di raffinamento fino al 70% senza compromettere le prestazioni, offrendo significativi risparmi computazionali e superando i metodi esistenti sia in efficienza che in efficacia.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.