DELIFT : Ajustement Fin de l'Instruction de Modèle de Langage Économe en Données

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Auteurs: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Résumé

Affiner les grands modèles de langage (LLM) est essentiel pour améliorer leurs performances sur des tâches spécifiques, mais cela nécessite souvent beaucoup de ressources en raison de données redondantes ou non informatives. Pour remédier à cette inefficacité, nous présentons DELIFT (Data Efficient Language model Instruction Fine-Tuning), un nouvel algorithme qui optimise systématiquement la sélection des données à travers les trois étapes clés de l'affinage : (1) l'affinage des instructions, (2) l'affinage spécifique à la tâche (par exemple, raisonnement, question-réponse) et (3) l'affinage continu (par exemple, l'incorporation de nouvelles versions de données). Contrairement aux méthodes existantes qui se concentrent sur l'optimisation d'une seule étape ou qui reposent sur des calculs de gradient intensifs en termes de calcul, DELIFT fonctionne efficacement à toutes les étapes. Au cœur de notre approche se trouve une métrique d'utilité par paires qui quantifie l'apport bénéfique d'un échantillon de données pour améliorer les réponses du modèle à d'autres échantillons, mesurant ainsi efficacement la valeur informationnelle par rapport aux capacités actuelles du modèle. En exploitant différentes fonctions sous-modulaires appliquées à cette métrique, DELIFT sélectionne des sous-ensembles diversifiés et optimaux qui sont utiles à toutes les étapes de l'affinage. Des expériences menées sur diverses tâches et échelles de modèles montrent que DELIFT peut réduire la taille des données d'affinage jusqu'à 70 % sans compromettre les performances, offrant ainsi des économies computationnelles significatives et surpassant les méthodes existantes à la fois en termes d'efficacité et d'efficience.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.