Beeld tokeniseren als een verzameling

Tokenize Image as a Set

March 20, 2025

Auteurs: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu

cs.AI

Samenvatting

Dit artikel introduceert een fundamenteel nieuw paradigma voor beeldgeneratie via set-gebaseerde tokenisatie en distributiemodellering. In tegenstelling tot conventionele methoden die beelden serialiseren in latentecodes met vaste posities en een uniforme compressieverhouding, introduceren wij een ongeordende token-setrepresentatie om coderingscapaciteit dynamisch toe te wijzen op basis van regionale semantische complexiteit. Deze TokenSet verbetert de aggregatie van globale context en verhoogt de robuustheid tegen lokale verstoringen. Om de kritieke uitdaging van het modelleren van discrete sets aan te pakken, ontwikkelen we een duale transformatiemechanisme dat sets bijectief omzet in vaste-lengte integerreeksen met sommatiebeperkingen. Verder stellen we Fixed-Sum Discrete Diffusion voor—het eerste framework dat tegelijkertijd discrete waarden, vaste sequentielengte en sommatie-invariantie behandelt—wat effectieve set-distributiemodellering mogelijk maakt. Experimenten tonen de superioriteit van onze methode aan in semantisch bewuste representatie en generatiekwaliteit. Onze innovaties, die nieuwe representatie- en modelleringsstrategieën omvatten, brengen visuele generatie voorbij traditionele sequentiële tokenparadigma's. Onze code en modellen zijn publiekelijk beschikbaar op https://github.com/Gengzigang/TokenSet.

English

This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.