미술 무관한 생성 모델: 그래픽 아트 지식 없이 예술 창작

Art-Free Generative Models: Art Creation Without Graphic Art Knowledge

November 29, 2024

저자: Hui Ren, Joanna Materzynska, Rohit Gandikota, David Bau, Antonio Torralba

cs.AI

초록

우리는 "예술을 만들기 위해 얼마나 많은 사전 지식이 필요한가?"라는 질문을 탐구합니다. 이를 조사하기 위해, 예술 관련 콘텐츠에 접근하지 않고 훈련된 텍스트-이미지 생성 모델을 제안합니다. 그런 다음 몇 가지 선택된 예술적 스타일의 예제만 사용하여 예술 어댑터를 학습하는 간단하면서도 효과적인 방법을 소개합니다. 우리의 실험 결과, 우리 방법을 사용하여 생성된 예술은 대규모, 예술이 풍부한 데이터셋으로 훈련된 모델에 의해 생성된 예술과 사용자들에게 비슷하게 인식됩니다. 마지막으로 데이터 속성 기술을 통해, 예술적 및 비예술적 데이터셋에서의 예제가 새로운 예술적 스타일의 창조에 기여하는 방법을 설명합니다.

English

We explore the question: "How much prior art knowledge is needed to create art?" To investigate this, we propose a text-to-image generation model trained without access to art-related content. We then introduce a simple yet effective method to learn an art adapter using only a few examples of selected artistic styles. Our experiments show that art generated using our method is perceived by users as comparable to art produced by models trained on large, art-rich datasets. Finally, through data attribution techniques, we illustrate how examples from both artistic and non-artistic datasets contributed to the creation of new artistic styles.