Llasa: 라마 기반 음성 합성을 위한 훈련 시간 및 추론 시간 컴퓨팅 확장

Llasa: Scaling Train-Time and Inference-Time Compute for Llama-based Speech Synthesis

February 6, 2025

저자: Zhen Ye, Xinfa Zhu, Chi-Min Chan, Xinsheng Wang, Xu Tan, Jiahe Lei, Yi Peng, Haohe Liu, Yizhu Jin, Zheqi DAI, Hongzhan Lin, Jianyi Chen, Xingjian Du, Liumeng Xue, Yunlin Chen, Zhifei Li, Lei Xie, Qiuqiang Kong, Yike Guo, Wei Xue

cs.AI

초록

최근 텍스트 기반 대규모 언어 모델(Large Language Models, LLMs)의 발전, 특히 GPT 시리즈와 o1 모델에서는 교육 시간과 추론 시간의 컴퓨팅 확장의 효과를 입증했습니다. 그러나 현재의 최첨단 음성 합성 시스템은 LLMs를 활용하며 종종 다단계로, 별도의 모델(예: LLM 이후의 확산 모델)이 필요하여 교육 또는 테스트 중 특정 모델을 확장할지 결정하기를 복잡하게 만듭니다. 본 연구는 다음과 같은 기여를 합니다: 첫째, 음성 합성을 위한 교육 시간과 추론 시간의 컴퓨팅 확장을 탐구합니다. 둘째, 우리는 음성 합성을 위한 간단한 프레임워크 Llasa를 제안하며, 단일 레이어 벡터 양자화기(VQ) 코덱과 단일 Transformer 아키텍처를 사용하여 Llama와 같은 표준 LLMs와 완전히 일치시킵니다. 실험 결과, Llasa의 교육 시간 컴퓨팅을 확장하면 합성된 음성의 자연스러움이 일관되게 향상되며, 더 복잡하고 정확한 억양 패턴을 생성할 수 있습니다. 또한, 추론 시간 컴퓨팅 확장 관점에서는 검색 중에 검증기로서 음성 이해 모델을 활용하여, 추론 시간 컴퓨팅을 확장하면 샘플링 모드가 특정 검증기의 선호도로 이동되어 감정 표현, 음색 일관성 및 콘텐츠 정확도가 향상됩니다. 게다가, 우리는 TTS 모델(1B, 3B, 8B)과 코덱 모델의 체크포인트와 교육 코드를 공개적으로 제공했습니다.

English

Recent advances in text-based large language models (LLMs), particularly in the GPT series and the o1 model, have demonstrated the effectiveness of scaling both training-time and inference-time compute. However, current state-of-the-art TTS systems leveraging LLMs are often multi-stage, requiring separate models (e.g., diffusion models after LLM), complicating the decision of whether to scale a particular model during training or testing. This work makes the following contributions: First, we explore the scaling of train-time and inference-time compute for speech synthesis. Second, we propose a simple framework Llasa for speech synthesis that employs a single-layer vector quantizer (VQ) codec and a single Transformer architecture to fully align with standard LLMs such as Llama. Our experiments reveal that scaling train-time compute for Llasa consistently improves the naturalness of synthesized speech and enables the generation of more complex and accurate prosody patterns. Furthermore, from the perspective of scaling inference-time compute, we employ speech understanding models as verifiers during the search, finding that scaling inference-time compute shifts the sampling modes toward the preferences of specific verifiers, thereby improving emotional expressiveness, timbre consistency, and content accuracy. In addition, we released the checkpoint and training code for our TTS model (1B, 3B, 8B) and codec model publicly available.