Como Sintetizar Dados de Texto sem Colapso do Modelo?

How to Synthesize Text Data without Model Collapse?

December 19, 2024

Autores: Xuekai Zhu, Daixuan Cheng, Hengli Li, Kaiyan Zhang, Ermo Hua, Xingtai Lv, Ning Ding, Zhouhan Lin, Zilong Zheng, Bowen Zhou

cs.AI

Resumo

O colapso do modelo em dados sintéticos indica que o treinamento iterativo em dados autogerados leva a uma queda gradual no desempenho. Com a proliferação de modelos de IA, os dados sintéticos remodelarão fundamentalmente o ecossistema de dados da web. Futuros modelos GPT-{n} serão inevitavelmente treinados em uma combinação de dados sintéticos e humanos. Neste artigo, focamos em duas questões: qual é o impacto dos dados sintéticos no treinamento de modelos de linguagem e como sintetizar dados sem colapso do modelo? Primeiramente, pré-treinamos modelos de linguagem em diferentes proporções de dados sintéticos, revelando uma correlação negativa entre a proporção de dados sintéticos e o desempenho do modelo. Em seguida, realizamos uma análise estatística dos dados sintéticos para descobrir o fenômeno de deslocamento distribucional e a superconcentração de características n-grama. Inspirados nas descobertas acima, propomos a edição de tokens em dados produzidos por humanos para obter dados semissintéticos. Como prova de conceito, demonstramos teoricamente que a edição ao nível de token pode evitar o colapso do modelo, uma vez que o erro de teste é limitado por um limite superior finito. Realizamos experimentos extensivos em pré-treinamento do zero, pré-treinamento contínuo e ajuste fino supervisionado. Os resultados validam nossa prova teórica de que a edição ao nível de token melhora a qualidade dos dados e aprimora o desempenho do modelo.

English

Model collapse in synthetic data indicates that iterative training on self-generated data leads to a gradual decline in performance. With the proliferation of AI models, synthetic data will fundamentally reshape the web data ecosystem. Future GPT-{n} models will inevitably be trained on a blend of synthetic and human-produced data. In this paper, we focus on two questions: what is the impact of synthetic data on language model training, and how to synthesize data without model collapse? We first pre-train language models across different proportions of synthetic data, revealing a negative correlation between the proportion of synthetic data and model performance. We further conduct statistical analysis on synthetic data to uncover distributional shift phenomenon and over-concentration of n-gram features. Inspired by the above findings, we propose token editing on human-produced data to obtain semi-synthetic data. As a proof of concept, we theoretically demonstrate that token-level editing can prevent model collapse, as the test error is constrained by a finite upper bound. We conduct extensive experiments on pre-training from scratch, continual pre-training, and supervised fine-tuning. The results validate our theoretical proof that token-level editing improves data quality and enhances model performance.