이-라이트닝 기술 보고서

Yi-Lightning Technical Report

December 2, 2024

저자: 01. AI, Alan Wake, Albert Wang, Bei Chen, C. X. Lv, Chao Li, Chengen Huang, Chenglin Cai, Chujie Zheng, Daniel Cooper, Ethan Dai, Fan Zhou, Feng Hu, Heng Ji, Howard Qiu, Jiangcheng Zhu, Jun Tian, Katherine Su, Lihuan Zhang, Liying Li, Ming Song, Mou Li, Peng Liu, Qichen Hu, Shawn Wang, Shijun Zhou, Shiyong Li, Tianhang Zhu, Wen Xie, Xiang He, Xiaobo Chen, Xiaohui Hu, Xiaoyi Ren, Xinyao Niu, Yanpeng Li, Yongke Zhao, Yongzhen Luo, Yuchi Xu, Yuxuan Sha, Zhaodong Yan, Zhiyuan Liu, Zirui Zhang

cs.AI

초록

본 기술 보고서는 우리의 최신 주력 대형 언어 모델 (LLM)인 이-라이트닝(Yi-Lightning)을 소개합니다. 이 모델은 특히 중국어, 수학, 코딩, 그리고 어려운 프롬프트와 같은 전문 분야에서 특히 강력한 결과(2위에서 4위)를 달성하여 Chatbot Arena 전체 순위에서 6위를 기록했습니다. 이-라이트닝은 향상된 전문가 혼합(MoE) 아키텍처를 활용하며, 고급 전문가 분할 및 라우팅 메커니즘과 최적화된 KV-캐싱 기술을 결합했습니다. 우리의 개발 과정은 포괄적인 사전 훈련, 지도된 세밀 조정(SFT), 그리고 인간 피드백으로부터의 강화 학습(RLHF)을 포함하며, 다단계 훈련, 합성 데이터 구성, 그리고 보상 모델링을 위한 신중한 전략을 마련했습니다. 더불어, 우리는 RAISE(책임 있는 AI 안전 엔진)이라는 네 가지 구성 요소 프레임워크를 구현하여 사전 훈련, 사후 훈련, 그리고 서비스 단계에서 안전 문제를 해결합니다. 확장 가능한 초고속 컴퓨팅 인프라로 능력을 갖춘 이러한 혁신들은 훈련, 배포, 그리고 추론 비용을 크게 줄이면서 높은 성능 기준을 유지합니다. 공개 학술 벤치마크에서 추가 평가를 거친 결과, 이-라이트닝은 실용적인 응용 프로그램을 위한 더 지능적이고 강력한 AI 시스템 개발을 이끄는 데 있어 최고 수준의 LLM에 대항하는 경쟁력 있는 성능을 보여주었으며, 전통적이고 정적인 벤치마크 결과와 실제 동적인 인간 선호도 사이에 주목할만한 불일치를 관찰했습니다. 이 관찰은 더 지능적이고 강력한 AI 시스템을 위한 개발을 이끄는 데 있어 전통적인 벤치마크의 유용성에 대한 중요한 재평가를 촉발했습니다. 이-라이트닝은 이제 https://platform.lingyiwanwu.com을 통해 우리의 개발자 플랫폼을 통해 이용 가능합니다.

English

This technical report presents Yi-Lightning, our latest flagship large language model (LLM). It achieves exceptional performance, ranking 6th overall on Chatbot Arena, with particularly strong results (2nd to 4th place) in specialized categories including Chinese, Math, Coding, and Hard Prompts. Yi-Lightning leverages an enhanced Mixture-of-Experts (MoE) architecture, featuring advanced expert segmentation and routing mechanisms coupled with optimized KV-caching techniques. Our development process encompasses comprehensive pre-training, supervised fine-tuning (SFT), and reinforcement learning from human feedback (RLHF), where we devise deliberate strategies for multi-stage training, synthetic data construction, and reward modeling. Furthermore, we implement RAISE (Responsible AI Safety Engine), a four-component framework to address safety issues across pre-training, post-training, and serving phases. Empowered by our scalable super-computing infrastructure, all these innovations substantially reduce training, deployment and inference costs while maintaining high-performance standards. With further evaluations on public academic benchmarks, Yi-Lightning demonstrates competitive performance against top-tier LLMs, while we observe a notable disparity between traditional, static benchmark results and real-world, dynamic human preferences. This observation prompts a critical reassessment of conventional benchmarks' utility in guiding the development of more intelligent and powerful AI systems for practical applications. Yi-Lightning is now available through our developer platform at https://platform.lingyiwanwu.com.