Modelli generativi senza arte: Creazione artistica senza conoscenze di grafica artistica

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

Autori: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

Abstract

Esploriamo la domanda: "Quanta conoscenza di arte pregressa è necessaria per creare arte?" Per indagare su questo, proponiamo un modello di generazione testo-immagine addestrato senza accesso a contenuti correlati all'arte. Introduciamo poi un metodo semplice ma efficace per apprendere un adattatore artistico utilizzando solo alcuni esempi di stili artistici selezionati. I nostri esperimenti mostrano che l'arte generata utilizzando il nostro metodo è percepita dagli utenti come paragonabile all'arte prodotta da modelli addestrati su grandi dataset ricchi di arte. Infine, attraverso tecniche di attribuzione dei dati, illustramo come gli esempi provenienti sia da dataset artistici che non artistici abbiano contribuito alla creazione di nuovi stili artistici.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.