LAION-SG: Un dataset su larga scala potenziato per addestrare modelli complessi immagine-testo con annotazioni strutturali

LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

December 11, 2024

Autori: Zejian Li, Chenye Meng, Yize Li, Ling Yang, Shengyuan Zhang, Jiarui Ma, Jiayi Li, Guang Yang, Changyuan Yang, Zhiyuan Yang, Jinxiong Chang, Lingyun Sun

cs.AI

Abstract

I recenti progressi nella generazione testo-immagine (T2I) hanno mostrato un notevole successo nella produzione di immagini di alta qualità da testo. Tuttavia, i modelli T2I esistenti mostrano una performance decaduta nella generazione di immagini compositive che coinvolgono oggetti multipli e relazioni intricate. Attribuiamo questo problema alle limitazioni nei dataset esistenti di coppie immagine-testo, che mancano di annotazioni precise sulle relazioni tra gli oggetti con soli prompt. Per affrontare questo problema, abbiamo costruito LAION-SG, un dataset su larga scala con annotazioni strutturali di grafi di scena (SG), che descrivono precisamente attributi e relazioni di oggetti multipli, rappresentando efficacemente la struttura semantica in scene complesse. Basandoci su LAION-SG, abbiamo addestrato un nuovo modello fondamentale SDXL-SG per incorporare informazioni di annotazione strutturale nel processo di generazione. Estesi esperimenti mostrano che i modelli avanzati addestrati sul nostro LAION-SG vantano significativi miglioramenti delle performance nella generazione di scene complesse rispetto ai modelli su dataset esistenti. Introduciamo inoltre CompSG-Bench, un benchmark che valuta i modelli nella generazione di immagini compositive, stabilendo uno nuovo standard per questo ambito.

English

Recent advances in text-to-image (T2I) generation have shown remarkable success in producing high-quality images from text. However, existing T2I models show decayed performance in compositional image generation involving multiple objects and intricate relationships. We attribute this problem to limitations in existing datasets of image-text pairs, which lack precise inter-object relationship annotations with prompts only. To address this problem, we construct LAION-SG, a large-scale dataset with high-quality structural annotations of scene graphs (SG), which precisely describe attributes and relationships of multiple objects, effectively representing the semantic structure in complex scenes. Based on LAION-SG, we train a new foundation model SDXL-SG to incorporate structural annotation information into the generation process. Extensive experiments show advanced models trained on our LAION-SG boast significant performance improvements in complex scene generation over models on existing datasets. We also introduce CompSG-Bench, a benchmark that evaluates models on compositional image generation, establishing a new standard for this domain.