LiteASR: Эффективное автоматическое распознавание речи с использованием низкоранговой аппроксимации

LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation

February 27, 2025

Авторы: Keisuke Kamahori, Jungo Kasai, Noriyuki Kojima, Baris Kasikci

cs.AI

Аннотация

Современные модели автоматического распознавания речи (ASR), такие как Whisper от OpenAI, основаны на глубоких архитектурах типа "кодировщик-декодировщик", причем кодировщики являются критическим узким местом для эффективного развертывания из-за высокой вычислительной сложности. Мы представляем LiteASR — схему низкорангового сжатия для кодировщиков ASR, которая значительно снижает затраты на вывод, сохраняя при этом точность транскрипции. Наш подход использует сильные низкоранговые свойства, наблюдаемые в промежуточных активациях: применяя метод главных компонент (PCA) с небольшим калибровочным набором данных, мы аппроксимируем линейные преобразования цепочкой низкоранговых матричных умножений и дополнительно оптимизируем механизм самовнимания для работы в уменьшенной размерности. Результаты оценки показывают, что наш метод может сжать размер кодировщика Whisper large-v3 более чем на 50%, достигая размера Whisper medium с более высокой точностью транскрипции, тем самым устанавливая новый Парето-оптимальный баланс между эффективностью и производительностью. Код LiteASR доступен по адресу https://github.com/efeslab/LiteASR.

English

Modern automatic speech recognition (ASR) models, such as OpenAI's Whisper, rely on deep encoder-decoder architectures, and their encoders are a critical bottleneck for efficient deployment due to high computational intensity. We introduce LiteASR, a low-rank compression scheme for ASR encoders that significantly reduces inference costs while maintaining transcription accuracy. Our approach leverages the strong low-rank properties observed in intermediate activations: by applying principal component analysis (PCA) with a small calibration dataset, we approximate linear transformations with a chain of low-rank matrix multiplications, and further optimize self-attention to work in the reduced dimension. Evaluation results show that our method can compress Whisper large-v3's encoder size by over 50%, matching Whisper medium's size with better transcription accuracy, thereby establishing a new Pareto-optimal frontier of efficiency and performance. The code of LiteASR is available at https://github.com/efeslab/LiteASR.