モデルの崩壊を防ぎながらテキストデータを合成する方法は？

How to Synthesize Text Data without Model Collapse?

December 19, 2024

著者: Xuekai Zhu, Daixuan Cheng, Hengli Li, Kaiyan Zhang, Ermo Hua, Xingtai Lv, Ning Ding, Zhouhan Lin, Zilong Zheng, Bowen Zhou

cs.AI

要旨

合成データにおけるモデル崩壊は、自己生成データの反復トレーニングが性能の徐々の低下につながることを示しています。AIモデルの増殖により、合成データはウェブデータエコシステムを根本的に変えるでしょう。将来のGPT-{n}モデルは、合成データと人間によって生成されたデータの組み合わせで訓練されることになります。本論文では、合成データが言語モデルのトレーニングに与える影響と、モデル崩壊なしでデータを合成する方法に焦点を当てています。まず、異なる割合の合成データで言語モデルを事前トレーニングし、合成データの割合とモデルの性能との間に負の相関があることを明らかにします。さらに、合成データについて統計分析を行い、分布のシフト現象やn-gram特徴の過度の集中を明らかにします。上記の発見に触発され、人間によって生成されたデータにトークン編集を行い、半合成データを取得することを提案します。概念の証明として、トークンレベルの編集がモデル崩壊を防ぐことができることを理論的に示します。テストエラーが有限の上限で制約されるため、トークンレベルの編集がモデルの崩壊を防ぐことができることを理論的に示します。ゼロからの事前トレーニング、継続的な事前トレーニング、および監督されたファインチューニングに関する包括的な実験を実施します。その結果、トークンレベルの編集がデータの品質を向上させ、モデルの性能を向上させることを理論的に証明したことが確認されます。

English

Model collapse in synthetic data indicates that iterative training on self-generated data leads to a gradual decline in performance. With the proliferation of AI models, synthetic data will fundamentally reshape the web data ecosystem. Future GPT-{n} models will inevitably be trained on a blend of synthetic and human-produced data. In this paper, we focus on two questions: what is the impact of synthetic data on language model training, and how to synthesize data without model collapse? We first pre-train language models across different proportions of synthetic data, revealing a negative correlation between the proportion of synthetic data and model performance. We further conduct statistical analysis on synthetic data to uncover distributional shift phenomenon and over-concentration of n-gram features. Inspired by the above findings, we propose token editing on human-produced data to obtain semi-synthetic data. As a proof of concept, we theoretically demonstrate that token-level editing can prevent model collapse, as the test error is constrained by a finite upper bound. We conduct extensive experiments on pre-training from scratch, continual pre-training, and supervised fine-tuning. The results validate our theoretical proof that token-level editing improves data quality and enhances model performance.