CleanDIFT: Caratteristiche di Diffusione senza Rumore

CleanDIFT: Diffusion Features without Noise

December 4, 2024

Autori: Nick Stracke, Stefan Andreas Baumann, Kolja Bauer, Frank Fundel, Björn Ommer

cs.AI

Abstract

Le caratteristiche interne dei modelli di diffusione pre-addestrati su larga scala sono state recentemente confermate come potenti descrittori semantici per una vasta gamma di compiti successivi. I lavori che utilizzano queste caratteristiche generalmente devono aggiungere rumore alle immagini prima di passarle attraverso il modello per ottenere le caratteristiche semantiche, poiché i modelli non offrono le caratteristiche più utili quando vengono fornite immagini con poco o nessun rumore. Mostreremo che questo rumore ha un impatto critico sull'utilità di queste caratteristiche che non può essere risolto tramite l'ensemble con diversi rumori casuali. Affrontiamo questo problema introducendo un metodo di raffinamento leggero e non supervisionato che consente alle backbones di diffusione di fornire caratteristiche semantiche di alta qualità e prive di rumore. Dimostriamo che queste caratteristiche superano facilmente le precedenti caratteristiche di diffusione in una vasta gamma di configurazioni di estrazione e compiti successivi, offrendo prestazioni migliori persino rispetto ai metodi basati su ensemble a una frazione del costo.

English

Internal features from large-scale pre-trained diffusion models have recently been established as powerful semantic descriptors for a wide range of downstream tasks. Works that use these features generally need to add noise to images before passing them through the model to obtain the semantic features, as the models do not offer the most useful features when given images with little to no noise. We show that this noise has a critical impact on the usefulness of these features that cannot be remedied by ensembling with different random noises. We address this issue by introducing a lightweight, unsupervised fine-tuning method that enables diffusion backbones to provide high-quality, noise-free semantic features. We show that these features readily outperform previous diffusion features by a wide margin in a wide variety of extraction setups and downstream tasks, offering better performance than even ensemble-based methods at a fraction of the cost.