일관성 모델의 불일치: 더 나은 ODE 해결이 더 나은 샘플을 의미하지는 않는다.

Inconsistencies In Consistency Models: Better ODE Solving Does Not Imply Better Samples

November 13, 2024

저자: Noël Vouitsis, Rasa Hosseinzadeh, Brendan Leigh Ross, Valentin Villecroze, Satya Krishna Gorti, Jesse C. Cresswell, Gabriel Loaiza-Ganem

cs.AI

초록

확산 모델은 매우 높은 품질의 샘플을 생성할 수 있지만, 비용이 많이 드는 반복적 샘플링 절차로 본질적으로 병목 현상을 겪습니다. 일관성 모델(CMs)은 최근에 유망한 확산 모델 증류 방법으로 등장하여 고품질 샘플을 몇 번의 반복만으로 생성함으로써 샘플링 비용을 줄입니다. 일관성 모델 증류는 기존 확산 모델에 의해 정의된 확률 흐름 상미분 방정식(ODE)을 해결하는 것을 목표로 합니다. CMs는 ODE 해결 프로그램에 대한 오류를 최소화하도록 직접 훈련되는 것이 아니라, 보다 계산 가능한 목적을 사용합니다. CMs가 확률 흐름 ODE를 효과적으로 해결하고 발생한 오류가 생성된 샘플의 품질에 미치는 영향을 연구하기 위한 한 가지 방법으로, 우리는 이 오류를 직접 최소화하는 Direct CMs를 소개합니다. 흥미로운 점은, Direct CMs가 CMs보다 ODE 해결 오류를 줄이지만 생성된 샘플의 품질이 현저히 나빠지는 것을 발견했으며, 따라서 CMs가 처음부터 왜 잘 작동하는지에 대한 의문을 제기합니다. 전체 코드는 다음에서 확인할 수 있습니다: https://github.com/layer6ai-labs/direct-cms.

English

Although diffusion models can generate remarkably high-quality samples, they are intrinsically bottlenecked by their expensive iterative sampling procedure. Consistency models (CMs) have recently emerged as a promising diffusion model distillation method, reducing the cost of sampling by generating high-fidelity samples in just a few iterations. Consistency model distillation aims to solve the probability flow ordinary differential equation (ODE) defined by an existing diffusion model. CMs are not directly trained to minimize error against an ODE solver, rather they use a more computationally tractable objective. As a way to study how effectively CMs solve the probability flow ODE, and the effect that any induced error has on the quality of generated samples, we introduce Direct CMs, which directly minimize this error. Intriguingly, we find that Direct CMs reduce the ODE solving error compared to CMs but also result in significantly worse sample quality, calling into question why exactly CMs work well in the first place. Full code is available at: https://github.com/layer6ai-labs/direct-cms.