BiGR: Benutten van Binaire Latente Codes voor Beeldgeneratie en Verbeterde Visuele Representatiecapaciteiten

BiGR: Harnessing Binary Latent Codes for Image Generation and Improved Visual Representation Capabilities

October 18, 2024

Auteurs: Shaozhe Hao, Xuantong Liu, Xianbiao Qi, Shihao Zhao, Bojia Zi, Rong Xiao, Kai Han, Kwan-Yee K. Wong

cs.AI

Samenvatting

We introduceren BiGR, een nieuw conditioneel beeldgeneratiemodel dat compacte binair latente codes gebruikt voor generatieve training, met de focus op het verbeteren van zowel de generatie- als representatiemogelijkheden. BiGR is het eerste conditionele generatieve model dat generatie en discriminatie verenigt binnen hetzelfde kader. BiGR bevat een binair tokenizer, een gemaskerd modelleringsmechanisme en een binair transcoder voor voorspelling van binaire codes. Daarnaast introduceren we een nieuw entropie-geordende bemonsteringsmethode om efficiënte beeldgeneratie mogelijk te maken. Uitgebreide experimenten bevestigen de superieure prestaties van BiGR op het gebied van generatiekwaliteit, gemeten aan de hand van FID-50k, en representatiemogelijkheden, zoals aangetoond door lineaire probe-nauwkeurigheid. Bovendien toont BiGR zero-shot generalisatie aan over verschillende visuele taken, waardoor toepassingen zoals beeldinpainting, outpainting, bewerking, interpolatie en verrijking mogelijk zijn, zonder de noodzaak van structurele wijzigingen. Onze bevindingen suggereren dat BiGR generatieve en discriminatieve taken effectief verenigt, wat de weg effent voor verdere vooruitgang in het veld.

English

We introduce BiGR, a novel conditional image generation model using compact binary latent codes for generative training, focusing on enhancing both generation and representation capabilities. BiGR is the first conditional generative model that unifies generation and discrimination within the same framework. BiGR features a binary tokenizer, a masked modeling mechanism, and a binary transcoder for binary code prediction. Additionally, we introduce a novel entropy-ordered sampling method to enable efficient image generation. Extensive experiments validate BiGR's superior performance in generation quality, as measured by FID-50k, and representation capabilities, as evidenced by linear-probe accuracy. Moreover, BiGR showcases zero-shot generalization across various vision tasks, enabling applications such as image inpainting, outpainting, editing, interpolation, and enrichment, without the need for structural modifications. Our findings suggest that BiGR unifies generative and discriminative tasks effectively, paving the way for further advancements in the field.