TangoFlux: 플로우 매칭 및 박수 순위 선호도 최적화를 활용한 초고속이고 충실한 텍스트 음성 생성

초록

TangoFlux는 515M개의 매개변수를 가진 효율적인 텍스트-음성 (TTA) 생성 모델을 소개합니다. 이 모델은 단일 A40 GPU에서 3.7초 만에 44.1kHz 음성을 최대 30초 생성할 수 있습니다. TTA 모델을 정렬하는 주요 과제 중 하나는 TTA가 대형 언어 모델 (LLMs)에 대한 확인 가능한 보상이나 골드 표준 답변과 같은 구조화된 메커니즘이 부족하다는 점에 있습니다. 이를 해결하기 위해 우리는 CLAP-Ranked Preference Optimization (CRPO)이라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 반복적으로 생성하고 최적화하여 TTA 정렬을 향상시키기 위한 선호 데이터를 생성합니다. 우리는 CRPO를 사용하여 생성된 음성 선호 데이터셋이 기존 대안들보다 우수하다는 것을 증명합니다. 이 프레임워크를 통해 TangoFlux는 객관적 및 주관적 평가에서 최첨단 성능을 달성합니다. 우리는 TTA 생성에 대한 추가 연구를 지원하기 위해 모든 코드와 모델을 오픈 소스로 공개합니다.

English

We introduce TangoFlux, an efficient Text-to-Audio (TTA) generative model with 515M parameters, capable of generating up to 30 seconds of 44.1kHz audio in just 3.7 seconds on a single A40 GPU. A key challenge in aligning TTA models lies in the difficulty of creating preference pairs, as TTA lacks structured mechanisms like verifiable rewards or gold-standard answers available for Large Language Models (LLMs). To address this, we propose CLAP-Ranked Preference Optimization (CRPO), a novel framework that iteratively generates and optimizes preference data to enhance TTA alignment. We demonstrate that the audio preference dataset generated using CRPO outperforms existing alternatives. With this framework, TangoFlux achieves state-of-the-art performance across both objective and subjective benchmarks. We open source all code and models to support further research in TTA generation.

TangoFlux: 플로우 매칭 및 박수 순위 선호도 최적화를 활용한 초고속이고 충실한 텍스트 음성 생성

TangoFlux: Super Fast and Faithful Text to Audio Generation with Flow Matching and Clap-Ranked Preference Optimization

초록

Summary

Support