COIG-P: Un dataset cinese di alta qualità e su larga scala per le preferenze, allineato ai valori umani

COIG-P: A High-Quality and Large-Scale Chinese Preference Dataset for Alignment with Human Values

April 7, 2025

Autori: M-A-P Team, Siwei Wu, Jincheng Ren, Xinrun Du, Shuyue Guo, Xingwei Qu, Yiming Liang, Jie Liu, Yunwen Li, Tianyu Zheng, Boyu Feng, Huaqing Yuan, Zenith Wang, Jiaheng Liu, Wenhao Huang, Chenglin Cai, Haoran Que, Jian Yang, Yuelin Bai, Zekun Moore Wang, Zhouliang Yu, Qunshu Lin, Ding Pan, Yuchen Jiang, Tiannan Wang, Wangchunshu Zhou, Shenzhi Wang, Xingyuan Bu, Minghao Liu, Guoyin Wang, Ge Zhang, Chenghua Lin

cs.AI

Abstract

L'allineamento dei grandi modelli linguistici (LLM) con le preferenze umane ha ottenuto un successo notevole. Tuttavia, i dataset esistenti di preferenze cinesi sono limitati da una scala ridotta, una copertura di dominio ristretta e una mancanza di validazione rigorosa dei dati. Inoltre, la dipendenza da annotatori umani per l'etichettatura delle istruzioni e delle risposte limita significativamente la scalabilità dei dataset di preferenze umane. Per affrontare queste sfide, abbiamo progettato una pipeline di annotazione di dataset di preferenze cinesi basata su LLM senza intervento umano. Nello specifico, abbiamo raccolto e filtrato attentamente 92k query cinesi di alta qualità e abbiamo impiegato 15 LLM mainstream per generare e valutare coppie di risposte scartate e selezionate. Sulla base di ciò, introduciamo COIG-P (Chinese Open Instruction Generalist - Preference), un dataset di preferenze cinesi di alta qualità e su larga scala, che comprende 1.009k coppie di preferenze cinesi che coprono 6 domini diversi: Chat, Codice, Matematica, Logica, Romanzo e Ruolo. Basandoci su COIG-P, per ridurre il sovraccarico derivante dall'uso di LLM per la valutazione, abbiamo addestrato un modello di ricompensa cinese (CRM) di dimensioni 8B e abbiamo costruito meticolosamente un benchmark di ricompensa cinese (CRBench). I risultati di valutazione basati su AlignBench liu2024alignbenchbenchmarkingchinesealignment mostrano che COIG-P supera significativamente altri dataset di preferenze cinesi e apporta miglioramenti significativi delle prestazioni, compresi tra il 2% e il 12%, rispettivamente per le serie di modelli Qwen2/2.5 e Infinity-Instruct-3M-0625. I risultati su CRBench dimostrano che il nostro CRM ha una forte e robusta capacità di valutazione. Lo abbiamo applicato per filtrare le coppie di risposte scartate e selezionate in una divisione di test di COIG-P, e i nostri esperimenti mostrano che è comparabile a GPT-4o nell'identificazione di campioni di bassa qualità, mantenendo al contempo efficienza e convenienza economica. I nostri codici e dati sono rilasciati su https://github.com/multimodal-art-projection/COIG-P.

English

Aligning large language models (LLMs) with human preferences has achieved remarkable success. However, existing Chinese preference datasets are limited by small scale, narrow domain coverage, and lack of rigorous data validation. Additionally, the reliance on human annotators for instruction and response labeling significantly constrains the scalability of human preference datasets. To address these challenges, we design an LLM-based Chinese preference dataset annotation pipeline with no human intervention. Specifically, we crawled and carefully filtered 92k high-quality Chinese queries and employed 15 mainstream LLMs to generate and score chosen-rejected response pairs. Based on it, we introduce COIG-P (Chinese Open Instruction Generalist - Preference), a high-quality, large-scale Chinese preference dataset, comprises 1,009k Chinese preference pairs spanning 6 diverse domains: Chat, Code, Math, Logic, Novel, and Role. Building upon COIG-P, to reduce the overhead of using LLMs for scoring, we trained a 8B-sized Chinese Reward Model (CRM) and meticulously constructed a Chinese Reward Benchmark (CRBench). Evaluation results based on AlignBench liu2024alignbenchbenchmarkingchinesealignment show that that COIG-P significantly outperforms other Chinese preference datasets, and it brings significant performance improvements ranging from 2% to 12% for the Qwen2/2.5 and Infinity-Instruct-3M-0625 model series, respectively. The results on CRBench demonstrate that our CRM has a strong and robust scoring ability. We apply it to filter chosen-rejected response pairs in a test split of COIG-P, and our experiments show that it is comparable to GPT-4o in identifying low-quality samples while maintaining efficiency and cost-effectiveness. Our codes and data are released in https://github.com/multimodal-art-projection/COIG-P.