BiGR: Nutzung binärer Latenter Codes für die Bildgenerierung und verbesserte visuelle Repräsentationsfähigkeiten

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

October 18, 2024

Autoren: Shaozhe Hao, Xuantong Liu, Xianbiao Qi, Shihao Zhao, Bojia Zi, Rong Xiao, Kai Han, Kwan-Yee K. Wong

cs.AI

Zusammenfassung

Wir stellen BiGR vor, ein neuartiges bedingtes Bildgenerierungsmodell, das kompakte binäre latente Codes für generatives Training verwendet und sich darauf konzentriert, sowohl die Generierungs- als auch die Repräsentationsfähigkeiten zu verbessern. BiGR ist das erste bedingte generative Modell, das Generierung und Diskriminierung innerhalb desselben Rahmens vereint. BiGR zeichnet sich durch einen binären Tokenizer, einen maskierten Modellierungsmechanismus und einen binären Transcoder für die Vorhersage binärer Codes aus. Darüber hinaus stellen wir eine neuartige Entropie-geordnete Abtastmethode vor, um eine effiziente Bildgenerierung zu ermöglichen. Umfangreiche Experimente bestätigen die überlegene Leistung von BiGR in Bezug auf Generierungsqualität, gemessen am FID-50k, und Repräsentationsfähigkeiten, wie durch die Linear-Probe-Genauigkeit belegt. Darüber hinaus zeigt BiGR eine Null-Schuss-Verallgemeinerung über verschiedene Vision-Aufgaben hinweg, was Anwendungen wie Bildinpainting, Outpainting, Bearbeitung, Interpolation und Anreicherung ermöglicht, ohne dass strukturelle Änderungen erforderlich sind. Unsere Ergebnisse legen nahe, dass BiGR generative und diskriminative Aufgaben effektiv vereint und den Weg für weitere Fortschritte in diesem Bereich ebnet.

English

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR's superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.