DELIFT: Data Efficiënt Taalmodel Instructie Fijnafstemming

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Auteurs: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Samenvatting

Het verfijnen van grote taalmodellen (LLM's) is essentieel om hun prestaties op specifieke taken te verbeteren, maar is vaak resource-intensief vanwege overbodige of niet-informatieve gegevens. Om deze inefficiëntie aan te pakken, introduceren we DELIFT (Data Efficiënte Taalmodel Instructie Verfijning), een nieuw algoritme dat systematisch de gegevensselectie optimaliseert over de drie belangrijke fasen van verfijning: (1) instructieverfijning, (2) taakspecifieke verfijning (bijv. redeneren, vraagbeantwoording), en (3) voortdurende verfijning (bijv. het opnemen van nieuwe gegevensversies). In tegenstelling tot bestaande methoden die zich richten op optimalisatie in één fase of vertrouwen op rekenintensieve gradiëntberekeningen, werkt DELIFT efficiënt over alle fasen. Centraal in onze aanpak staat een paarsgewijze nutsmetriek die kwantificeert hoe nuttig een gegevensmonster is voor het verbeteren van de reacties van het model op andere monsters, waarbij effectief de informatieve waarde wordt gemeten ten opzichte van de huidige capaciteiten van het model. Door verschillende submodulaire functies toe te passen op deze metriek, selecteert DELIFT diverse en optimale subsets die nuttig zijn in alle fasen van verfijning. Experimenten over verschillende taken en modelgroottes tonen aan dat DELIFT de omvang van de verfijningsgegevens tot wel 70% kan verminderen zonder prestatieverlies, wat aanzienlijke rekenbesparingen oplevert en bestaande methoden overtreft op zowel efficiëntie als effectiviteit.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.