HumanEdit: un dataset di alta qualità ricompensato da umani per la modifica di immagini basata su istruzioni

HumanEdit: A High-Quality Human-Rewarded Dataset for Instruction-based Image Editing

December 5, 2024

Autori: Jinbin Bai, Wei Chow, Ling Yang, Xiangtai Li, Juncheng Li, Hanwang Zhang, Shuicheng Yan

cs.AI

Abstract

Presentiamo HumanEdit, un dataset di alta qualità ricompensato dagli umani progettato specificamente per la modifica delle immagini guidata dalle istruzioni, consentendo manipolazioni precise e diverse attraverso istruzioni linguistiche in forma aperta. I dataset di modifica su larga scala precedenti spesso incorporano un feedback umano minimo, portando a sfide nell'allineare i dataset con le preferenze umane. HumanEdit colma questa lacuna impiegando annotatori umani per costruire coppie di dati e amministratori per fornire feedback. Con una cura meticolosa, HumanEdit comprende 5.751 immagini e richiede più di 2.500 ore di sforzo umano attraverso quattro fasi, garantendo sia precisione che affidabilità per una vasta gamma di compiti di modifica delle immagini. Il dataset include sei tipi distinti di istruzioni di modifica: Azione, Aggiungi, Conteggio, Relazione, Rimuovi e Sostituisci, che abbracciano un ampio spettro di scenari reali. Tutte le immagini nel dataset sono accompagnate da maschere e, per un sottoinsieme dei dati, ci assicuriamo che le istruzioni siano sufficientemente dettagliate per supportare la modifica senza maschera. Inoltre, HumanEdit offre una diversità completa e contenuti ad alta risoluzione di 1024 per 1024 provenienti da vari domini, stabilendo un nuovo versatile punto di riferimento per i dataset di modifica delle immagini guidate dalle istruzioni. Con l'obiettivo di far progredire la ricerca futura e stabilire benchmark di valutazione nel campo della modifica delle immagini, rilasciamo HumanEdit su https://huggingface.co/datasets/BryanW/HumanEdit.

English

We present HumanEdit, a high-quality, human-rewarded dataset specifically designed for instruction-guided image editing, enabling precise and diverse image manipulations through open-form language instructions. Previous large-scale editing datasets often incorporate minimal human feedback, leading to challenges in aligning datasets with human preferences. HumanEdit bridges this gap by employing human annotators to construct data pairs and administrators to provide feedback. With meticulously curation, HumanEdit comprises 5,751 images and requires more than 2,500 hours of human effort across four stages, ensuring both accuracy and reliability for a wide range of image editing tasks. The dataset includes six distinct types of editing instructions: Action, Add, Counting, Relation, Remove, and Replace, encompassing a broad spectrum of real-world scenarios. All images in the dataset are accompanied by masks, and for a subset of the data, we ensure that the instructions are sufficiently detailed to support mask-free editing. Furthermore, HumanEdit offers comprehensive diversity and high-resolution 1024 times 1024 content sourced from various domains, setting a new versatile benchmark for instructional image editing datasets. With the aim of advancing future research and establishing evaluation benchmarks in the field of image editing, we release HumanEdit at https://huggingface.co/datasets/BryanW/HumanEdit.