Block Diffusion: Interpolation zwischen autoregressiven und Diffusions-Sprachmodellen

Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models

March 12, 2025

Autoren: Marianne Arriola, Aaron Gokaslan, Justin T Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo, Volodymyr Kuleshov

cs.AI

Zusammenfassung

Diffusionssprachmodelle bieten einzigartige Vorteile gegenüber autoregressiven Modellen aufgrund ihres Potenzials für parallelisierte Generierung und Kontrollierbarkeit, doch sie hinken in der Wahrscheinlichkeitsmodellierung hinterher und sind auf die Generierung fester Längen beschränkt. In dieser Arbeit stellen wir eine Klasse von Block-Diffusionssprachmodellen vor, die zwischen diskreter Denoising-Diffusion und autoregressiven Modellen interpolieren. Block-Diffusion überwindet zentrale Einschränkungen beider Ansätze, indem sie die Generierung flexibler Längen unterstützt und die Inferenzeffizienz durch KV-Caching und parallele Token-Sampling verbessert. Wir schlagen ein Rezept für den Aufbau effektiver Block-Diffusionsmodelle vor, das einen effizienten Trainingsalgorithmus, Schätzer der Gradientenvarianz und datengetriebene Rauschpläne zur Minimierung der Varianz umfasst. Block-Diffusion setzt einen neuen State-of-the-art-Standard unter Diffusionsmodellen bei Sprachmodellierungs-Benchmarks und ermöglicht die Generierung von Sequenzen beliebiger Länge. Wir stellen den Code zusammen mit den Modellgewichten und einem Blogbeitrag auf der Projektseite zur Verfügung: https://m-arriola.com/bd3lms/

English

Diffusion language models offer unique benefits over autoregressive models due to their potential for parallelized generation and controllability, yet they lag in likelihood modeling and are limited to fixed-length generation. In this work, we introduce a class of block diffusion language models that interpolate between discrete denoising diffusion and autoregressive models. Block diffusion overcomes key limitations of both approaches by supporting flexible-length generation and improving inference efficiency with KV caching and parallel token sampling. We propose a recipe for building effective block diffusion models that includes an efficient training algorithm, estimators of gradient variance, and data-driven noise schedules to minimize the variance. Block diffusion sets a new state-of-the-art performance among diffusion models on language modeling benchmarks and enables generation of arbitrary-length sequences. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/bd3lms/