DuoDecoding: Аппаратно-ориентированное гетерогенное спекулятивное декодирование с динамическим формированием множественных последовательностей

DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting

March 2, 2025

Авторы: Kai Lv, Honglin Guo, Qipeng Guo, Xipeng Qiu

cs.AI

Аннотация

Крупные языковые модели (LLMs) демонстрируют выдающуюся производительность в широком спектре задач; однако их процесс авторегрессивного генерации по токенам значительно замедляет скорость вывода. Спекулятивное декодирование предлагает перспективную структуру "черновик-затем-проверка", которая сокращает задержку генерации, сохраняя при этом точность распределения выходных данных. Тем не менее, модель черновика вносит дополнительные вычислительные затраты, становясь узким местом в производительности и увеличивая время до первого токена (TTFT). Предыдущие подходы для снижения нагрузки модели черновика в основном полагались на эвристики и, как правило, не могли соответствовать качеству языковых моделей черновика. Для решения этих проблем мы предлагаем DuoDecoding — новый подход, который стратегически распределяет модели черновика и целевой модели на CPU и GPU соответственно, обеспечивая параллельное декодирование при сохранении качества черновика. Наш метод включает аппаратно-оптимизированный бюджет черновика для минимизации времени простоя и использует динамическое многопоследовательное создание черновиков для повышения их качества. Эксперименты на семи задачах показывают, что DuoDecoding достигает ускорения задержки генерации до 2.61x, сокращая TTFT до 83% по сравнению с традиционным спекулятивным декодированием. Код доступен по адресу https://github.com/KaiLv69/DuoDecoding.

English

Large language models (LLMs) exhibit exceptional performance across a wide range of tasks; however, their token-by-token autoregressive generation process significantly hinders inference speed. Speculative decoding presents a promising draft-then-verify framework that reduces generation latency while maintaining output distribution fidelity. Nevertheless, the draft model introduces additional computational overhead, becoming a performance bottleneck and increasing the time to first token (TTFT). Previous approaches to mitigate draft model overhead have primarily relied on heuristics and generally failed to match the quality of the draft language models. To address these challenges, we propose DuoDecoding, a novel approach that strategically deploys the draft and target models on the CPU and GPU respectively, enabling parallel decoding while preserving draft quality. Our method incorporates a hardware-aware optimal draft budget to minimize idle times and employs dynamic multi-sequence drafting to enhance draft quality. Extensive experiments across seven tasks show that DuoDecoding achieves up to 2.61x speedup in generation latency, while reducing TTFT to 83% of that in conventional speculative decoding. The Code is available at https://github.com/KaiLv69/DuoDecoding.