CrowdSelect: Отбор синтетических обучающих данных с использованием коллективного интеллекта нескольких языковых моделей

CrowdSelect: Synthetic Instruction Data Selection with Multi-LLM Wisdom

March 3, 2025

Авторы: Yisen Li, Lingfeng Yang, Wenxuan Shen, Pan Zhou, Yao Wan, Weiwei Lin, Dongping Chen

cs.AI

Аннотация

Передача способностей крупных языковых моделей (LLM) следовать инструкциям в более компактные модели с использованием выбранного подмножества данных стала основным подходом в обучении моделей. Хотя существующие стратегии отбора синтетических данных для инструкций в основном опираются на одномерные сигналы (например, оценки вознаграждения, перплексия модели), они не способны охватить сложность следования инструкциям в различных областях. Поэтому мы исследуем более разнообразные сигналы для учета характеристик пар "инструкция-ответ" и предлагаем три базовых метрики, которые используют коллективную мудрость нескольких LLM, основанную на (1) разнообразных ответах LLM и (2) оценке модели вознаграждения. На основе этих метрик мы предлагаем CrowdSelect — интегрированную метрику, которая включает кластеризацию для сохранения разнообразия ответов. Наши эксперименты показывают, что базовые метрики стабильно улучшают производительность четырех базовых моделей на тестах MT-bench и Arena-Hard. CrowdSelect, эффективно объединяя все метрики, достигает наилучших результатов как при полной тонкой настройке, так и при использовании LoRA, демонстрируя улучшения на 4,81% на Arena-Hard и 11,1% на MT-bench для модели Llama-3.2-3b-instruct. Мы надеемся, что наши результаты принесут ценные идеи для будущих исследований в этом направлении. Код доступен по адресу https://github.com/listentm/crowdselect.

English

Distilling advanced Large Language Models' instruction-following capabilities into smaller models using a selected subset has become a mainstream approach in model training. While existing synthetic instruction data selection strategies rely mainly on single-dimensional signals (i.e., reward scores, model perplexity), they fail to capture the complexity of instruction-following across diverse fields. Therefore, we investigate more diverse signals to capture comprehensive instruction-response pair characteristics and propose three foundational metrics that leverage Multi-LLM wisdom, informed by (1) diverse LLM responses and (2) reward model assessment. Building upon base metrics, we propose CrowdSelect, an integrated metric incorporating a clustering-based approach to maintain response diversity. Our comprehensive experiments demonstrate that our foundation metrics consistently improve performance across 4 base models on MT-bench and Arena-Hard. CrowdSelect, efficiently incorporating all metrics, achieves state-of-the-art performance in both Full and LoRA fine-tuning, showing improvements of 4.81% on Arena-Hard and 11.1% on MT-bench with Llama-3.2-3b-instruct. We hope our findings will bring valuable insights for future research in this direction. Code are available at https://github.com/listentm/crowdselect.