대형 언어 모델에서 합성 데이터의 품질, 다양성 및 복잡성의 영향 조사

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

December 4, 2024

저자: Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja, Mohammed Hamdy, Wen-Ding Li, Giovanni Paolini, Pawan Sasanka Ammanamanchi, Elliot Meyerson

cs.AI

초록

대규모 언어 모델을 사용한 합성 데이터 생성은 다양한 작업 범위에 걸쳐 자연 데이터를 보완하는 유망한 패러다임이다. 이 다양성으로 인해 합성 데이터 생성 알고리즘 간 직접적인 비교가 드물어 개선이 어디서 오는지와 어떤 병목 현상이 존재하는지 이해하기 어렵다. 우리는 각 알고리즘에 의해 생성된 합성 데이터의 데이터 품질, 다양성 및 복잡성 측면에서 알고리즘을 평가하는 것을 제안한다. 우리는 이 세 가지 특성을 선택한 이유는 열린 과정에서의 중요성과 하류 모델의 능력에 미치는 영향 때문이다. 우리는 품질이 분포 모델 일반화에 중요하고, 다양성이 분포 밖 일반화에 중요하며, 복잡성이 둘 다에 유익하다고 판단한다. 더불어, 훈련 데이터에서 품질-다양성 교환의 존재와 모델 성능에 미치는 하류 효과를 강조한다. 그런 다음, 합성 데이터 파이프라인의 다양한 구성 요소가 각 데이터 특성에 미치는 영향을 살펴본다. 이 분석을 통해 우리는 각 알고리즘을 데이터 품질, 다양성, 복잡성 구성에 따라 분류하고 비교할 수 있다. 이 분석은 합성 데이터의 품질, 다양성, 복잡성을 균형 있게 유지하는 것이 효율적인 강화 학습 및 자가 개선 알고리즘을 위해 중요하다는 논의로 확장된다. 훈련 데이터에서의 품질-다양성 교환과 유사하게, 종종 모델 출력 품질과 출력 다양성 사이의 교환 관계가 존재하며 이는 합성 데이터의 구성에 영향을 미친다. 현재 많은 모델이 출력 품질에 대해만 평가되고 최적화되어 있어 출력 다양성과 자가 개선 가능성이 제한되는 것을 관찰한다. 이 교환 관계를 균형 있게 유지하는 것이 미래 자가 개선 알고리즘의 발전에 중요하며 이 방향으로 진전을 이루고 있는 여러 연구를 강조한다.

English

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.