ZIP-FIT: Selezione dei Dati Senza Incorporamento tramite Allineamento Basato sulla Compressione

ZIP-FIT: Embedding-Free Data Selection via Compression-Based Alignment

October 23, 2024

Autori: Elyas Obbad, Iddah Mlauzi, Brando Miranda, Rylan Schaeffer, Kamal Obbad, Suhana Bedi, Sanmi Koyejo

cs.AI

Abstract

La selezione dei dati è cruciale per ottimizzare le prestazioni del modello linguistico (LM) su specifiche attività, tuttavia la maggior parte dei metodi esistenti non riesce a considerare in modo efficace la distribuzione dell'attività obiettivo. Gli approcci attuali ignorano completamente i requisiti specifici dell'attività o si basano su approssimazioni che non riescono a catturare i pattern sfumati necessari per attività come l'Autoformalizzazione o la generazione di codice. I metodi che considerano la distribuzione obiettivo spesso si basano su rappresentazioni semplicistiche, a volte rumorose, come le caratteristiche hashed degli n-grammi, che possono causare collisioni e introdurre rumore. Introduciamo ZIP-FIT, un framework di selezione dei dati che utilizza la compressione gzip per misurare direttamente l'allineamento tra i potenziali dati di addestramento e la distribuzione dell'attività obiettivo. In valutazioni approfondite sull'Autoformalizzazione e sulla generazione di codice Python, ZIP-FIT supera significativamente i principali baselines come DSIR e D4. I modelli addestrati sui dati selezionati da ZIP-FIT raggiungono il loro più basso tasso di entropia incrociata fino all'85,1% più velocemente rispetto ai baselines, dimostrando che un migliore allineamento dell'attività porta a un apprendimento più efficiente. Inoltre, ZIP-FIT esegue la selezione fino al 65,8% più velocemente rispetto a DSIR e due ordini di grandezza più velocemente rispetto a D4. In particolare, ZIP-FIT mostra che insiemi di dati più piccoli ma ben allineati spesso superano quelli più grandi ma meno mirati, dimostrando che una piccola quantità di dati di alta qualità è superiore a una grande quantità di dati di qualità inferiore. I nostri risultati implicano che la selezione dei dati consapevole dell'attività è cruciale per un'efficace adattamento di dominio, e che la compressione offre un modo fondato per misurare l'allineamento dell'attività. Mostrando che la selezione mirata dei dati può migliorare drasticamente le prestazioni specifiche dell'attività, il nostro lavoro fornisce nuove intuizioni sulla relazione tra la qualità dei dati, l'allineamento dell'attività e l'efficienza dell'apprendimento del modello.

English

Data selection is crucial for optimizing language model (LM) performance on specific tasks, yet most existing methods fail to effectively consider the target task distribution. Current approaches either ignore task-specific requirements entirely or rely on approximations that fail to capture the nuanced patterns needed for tasks like Autoformalization or code generation. Methods that do consider the target distribution often rely on simplistic, sometimes noisy, representations, like hashed n-gram features, which can lead to collisions and introduce noise. We introduce ZIP-FIT, a data selection framework that uses gzip compression to directly measure alignment between potential training data and the target task distribution. In extensive evaluations on Autoformalization and Python code generation, ZIP-FIT significantly outperforms leading baselines like DSIR and D4. Models trained on ZIP-FIT-selected data achieve their lowest cross-entropy loss up to 85.1\% faster than baselines, demonstrating that better task alignment leads to more efficient learning. In addition, ZIP-FIT performs selection up to 65.8\% faster than DSIR and two orders of magnitude faster than D4. Notably, ZIP-FIT shows that smaller, well-aligned datasets often outperform larger but less targeted ones, demonstrating that a small amount of higher quality data is superior to a large amount of lower quality data. Our results imply that task-aware data selection is crucial for efficient domain adaptation, and that compression offers a principled way to measure task alignment. By showing that targeted data selection can dramatically improve task-specific performance, our work provides new insights into the relationship between data quality, task alignment, and model learning efficiency.