바이츄안-옴니-1.5 기술 보고서

Baichuan-Omni-1.5 Technical Report

January 26, 2025

저자: Yadong Li, Jun Liu, Tao Zhang, Tao Zhang, Song Chen, Tianpeng Li, Zehuan Li, Lijun Liu, Lingfeng Ming, Guosheng Dong, Da Pan, Chong Li, Yuanbo Fang, Dongdong Kuang, Mingrui Wang, Chenglin Zhu, Youwei Zhang, Hongyu Guo, Fengyu Zhang, Yuran Wang, Bowen Ding, Wei Song, Xu Li, Yuqi Huo, Zheng Liang, Shusen Zhang, Xin Wu, Shuai Zhao, Linchu Xiong, Yozhen Wu, Jiahui Ye, Wenhao Lu, Bowen Li, Yan Zhang, Yaqi Zhou, Xin Chen, Lei Su, Hongda Zhang, Fuzhong Chen, Xuezhen Dong, Na Nie, Zhiying Wu, Bin Xiao, Ting Li, Shunya Dang, Ping Zhang, Yijia Sun, Jincheng Wu, Jinjie Yang, Xionghai Lin, Zhi Ma, Kegeng Wu, Jia li, Aiyuan Yang, Hui Liu, Jianqiang Zhang, Xiaoxi Chen, Guangwei Ai, Wentao Zhang, Yicong Chen, Xiaoqin Huang, Kun Li, Wenjing Luo, Yifei Duan, Lingling Zhu, Ran Xiao, Zhe Su, Jiani Pu, Dian Wang, Xu Jia, Tianyu Zhang, Mengyu Ai, Mang Wang, Yujing Qiao, Lei Zhang, Yanjun Shen, Fan Yang, Miao Zhen, Yijie Zhou, Mingyang Chen, Fei Li, Chenzheng Zhu, Keer Lu, Yaqi Zhao, Hao Liang, Youquan Li, Yanzhao Qin, Linzhuang Sun, Jianhua Xu, Haoze Sun, Mingan Lin, Zenan Zhou, Weipeng Chen

cs.AI

초록

Baichuan-Omni-1.5을 소개합니다. 이는 오미모달 이해 능력을 갖추는 데 그치지 않고 엔드 투 엔드 오디오 생성 능력을 제공하는 오미모달 모델입니다. 각 모달의 능력을 희생하지 않고 모달 간에 유창하고 고품질의 상호 작용을 달성하기 위해 세 가지 핵심 측면을 최적화하는 데 중점을 두었습니다. 첫째, 다모달 데이터에 대한 포괄적인 데이터 정제 및 합성 파이프라인을 구축하여 약 500B의 고품질 데이터(텍스트, 오디오 및 비전)를 확보했습니다. 둘째, 오디오 토크나이저(Baichuan-Audio-Tokenizer)가 설계되어 오디오에서 의미론적 및 음향 정보를 모두 캡처하여 MLLM과의 원활한 통합과 향상된 호환성을 가능하게 했습니다. 마지막으로, 다모달 정렬 및 멀티태스크 파인튜닝을 점진적으로 통합하는 다단계 훈련 전략을 설계하여 모든 모달 간 효과적인 시너지를 보장했습니다. Baichuan-Omni-1.5는 포괄적인 오미모달 능력 측면에서 현대 모델(GPT4o-mini 및 MiniCPM-o 2.6 포함)을 선도합니다. 특히, 다양한 다모달 의료 벤치마크에서 Qwen2-VL-72B와 같은 선도적인 모델과 비교 가능한 결과를 달성했습니다.

English

We introduce Baichuan-Omni-1.5, an omni-modal model that not only has omni-modal understanding capabilities but also provides end-to-end audio generation capabilities. To achieve fluent and high-quality interaction across modalities without compromising the capabilities of any modality, we prioritized optimizing three key aspects. First, we establish a comprehensive data cleaning and synthesis pipeline for multimodal data, obtaining about 500B high-quality data (text, audio, and vision). Second, an audio-tokenizer (Baichuan-Audio-Tokenizer) has been designed to capture both semantic and acoustic information from audio, enabling seamless integration and enhanced compatibility with MLLM. Lastly, we designed a multi-stage training strategy that progressively integrates multimodal alignment and multitask fine-tuning, ensuring effective synergy across all modalities. Baichuan-Omni-1.5 leads contemporary models (including GPT4o-mini and MiniCPM-o 2.6) in terms of comprehensive omni-modal capabilities. Notably, it achieves results comparable to leading models such as Qwen2-VL-72B across various multimodal medical benchmarks.