ZIP-FIT: Embedding-freie Datenauswahl über kompressionsbasierte Ausrichtung

ZIP-FIT: Embedding-Free Data Selection via Compression-Based Alignment

October 23, 2024

Autoren: Elyas Obbad, Iddah Mlauzi, Brando Miranda, Rylan Schaeffer, Kamal Obbad, Suhana Bedi, Sanmi Koyejo

cs.AI

Zusammenfassung

Die Auswahl von Daten ist entscheidend für die Optimierung der Leistung von Sprachmodellen (LM) bei spezifischen Aufgaben, doch die meisten bestehenden Methoden versäumen es, die Zielverteilung der Aufgabe effektiv zu berücksichtigen. Aktuelle Ansätze ignorieren entweder gänzlich die aufgabenspezifischen Anforderungen oder stützen sich auf Näherungen, die die fein nuancierten Muster für Aufgaben wie Autoformalisierung oder Codegenerierung nicht erfassen können. Methoden, die die Zielverteilung berücksichtigen, setzen oft auf vereinfachte, manchmal fehleranfällige Darstellungen wie gehashte n-Gramm-Merkmale, die zu Kollisionen führen und Rauschen einführen können. Wir stellen ZIP-FIT vor, ein Datenauswahl-Framework, das die gzip-Komprimierung nutzt, um die Übereinstimmung zwischen potenziellen Trainingsdaten und der Zielverteilung der Aufgabe direkt zu messen. In umfangreichen Evaluierungen zur Autoformalisierung und Python-Codegenerierung übertrifft ZIP-FIT signifikant führende Baselines wie DSIR und D4. Modelle, die mit von ZIP-FIT ausgewählten Daten trainiert wurden, erreichen ihren niedrigsten Kreuzentropieverlust bis zu 85,1\% schneller als Baselines, was zeigt, dass eine bessere Aufgabenübereinstimmung zu effizienterem Lernen führt. Zusätzlich erfolgt die Auswahl durch ZIP-FIT bis zu 65,8\% schneller als bei DSIR und zwei Größenordnungen schneller als bei D4. Bemerkenswert ist, dass ZIP-FIT zeigt, dass kleinere, gut ausgerichtete Datensätze oft leistungsstärker sind als größere, aber weniger gezielte, was darauf hindeutet, dass eine geringe Menge an hochwertigen Daten einer großen Menge an minderwertigen überlegen ist. Unsere Ergebnisse legen nahe, dass eine aufgabenbewusste Datenwahl für eine effiziente Domänenanpassung entscheidend ist und dass die Kompression einen fundierten Weg zur Messung der Aufgabenübereinstimmung bietet. Indem wir zeigen, dass eine gezielte Datenwahl die aufgabenspezifische Leistung drastisch verbessern kann, liefert unsere Arbeit neue Erkenntnisse über die Beziehung zwischen Datenqualität, Aufgabenübereinstimmung und Modell-Lerneffizienz.

English

Data selection is crucial for optimizing language model (LM) performance on specific tasks, yet most existing methods fail to effectively consider the target task distribution. Current approaches either ignore task-specific requirements entirely or rely on approximations that fail to capture the nuanced patterns needed for tasks like Autoformalization or code generation. Methods that do consider the target distribution often rely on simplistic, sometimes noisy, representations, like hashed n-gram features, which can lead to collisions and introduce noise. We introduce ZIP-FIT, a data selection framework that uses gzip compression to directly measure alignment between potential training data and the target task distribution. In extensive evaluations on Autoformalization and Python code generation, ZIP-FIT significantly outperforms leading baselines like DSIR and D4. Models trained on ZIP-FIT-selected data achieve their lowest cross-entropy loss up to 85.1\% faster than baselines, demonstrating that better task alignment leads to more efficient learning. In addition, ZIP-FIT performs selection up to 65.8\% faster than DSIR and two orders of magnitude faster than D4. Notably, ZIP-FIT shows that smaller, well-aligned datasets often outperform larger but less targeted ones, demonstrating that a small amount of higher quality data is superior to a large amount of lower quality data. Our results imply that task-aware data selection is crucial for efficient domain adaptation, and that compression offers a principled way to measure task alignment. By showing that targeted data selection can dramatically improve task-specific performance, our work provides new insights into the relationship between data quality, task alignment, and model learning efficiency.