Насколько далеко мы можем продвинуться с использованием ImageNet для генерации изображений из текста?

How far can we go with ImageNet for Text-to-Image generation?

February 28, 2025

Авторы: L. Degeorge, A. Ghosh, N. Dufour, D. Picard, V. Kalogeiton

cs.AI

Аннотация

Последние модели генерации изображений по тексту (T2I) достигли впечатляющих результатов, обучаясь на наборах данных масштаба миллиардов, следуя парадигме «чем больше, тем лучше», которая ставит количество данных выше их качества. Мы оспариваем эту устоявшуюся парадигму, демонстрируя, что стратегическое расширение небольших, тщательно отобранных наборов данных может сравниться или превзойти модели, обученные на огромных коллекциях, собранных из интернета. Используя только ImageNet, дополненный продуманными текстовыми и визуальными аугментациями, мы достигаем улучшения на +2 балла по сравнению с SD-XL на GenEval и на +5 на DPGBench, при этом используя лишь 1/10 параметров и 1/1000 обучающих изображений. Наши результаты показывают, что стратегическое расширение данных, а не огромные наборы данных, может предложить более устойчивый путь развития для генерации изображений по тексту.

English

Recent text-to-image (T2I) generation models have achieved remarkable results by training on billion-scale datasets, following a `bigger is better' paradigm that prioritizes data quantity over quality. We challenge this established paradigm by demonstrating that strategic data augmentation of small, well-curated datasets can match or outperform models trained on massive web-scraped collections. Using only ImageNet enhanced with well-designed text and image augmentations, we achieve a +2 overall score over SD-XL on GenEval and +5 on DPGBench while using just 1/10th the parameters and 1/1000th the training images. Our results suggest that strategic data augmentation, rather than massive datasets, could offer a more sustainable path forward for T2I generation.