QuartDepth: Quantizzazione Post-Addestramento per la Stima della Profondità in Tempo Reale su Dispositivi Edge

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Autori: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Abstract

La stima della profondità monoculare (Monocular Depth Estimation, MDE) è emersa come un compito fondamentale nella visione artificiale, supportando numerose applicazioni nel mondo reale. Tuttavia, implementare modelli accurati di stima della profondità su dispositivi edge con risorse limitate, in particolare circuiti integrati specifici per applicazioni (Application-Specific Integrated Circuits, ASIC), è impegnativo a causa degli elevati requisiti computazionali e di memoria. I recenti progressi nella stima della profondità di base forniscono risultati impressionanti, ma aumentano ulteriormente la difficoltà di implementazione sugli ASIC. Per affrontare questo problema, proponiamo QuartDepth, che adotta la quantizzazione post-addestramento per quantizzare i modelli MDE con accelerazioni hardware per ASIC. Il nostro approccio prevede la quantizzazione sia dei pesi che delle attivazioni a una precisione di 4 bit, riducendo le dimensioni del modello e il costo computazionale. Per mitigare il degrado delle prestazioni, introduciamo un algoritmo di rifinitura e compensazione delle attivazioni applicato prima e dopo la quantizzazione delle attivazioni, nonché un metodo di ricostruzione dei pesi per minimizzare gli errori nella quantizzazione dei pesi. Inoltre, progettiamo un acceleratore hardware flessibile e programmabile supportando la fusione dei kernel e la programmabilità di istruzioni personalizzate, migliorando il throughput e l'efficienza. I risultati sperimentali dimostrano che il nostro framework raggiunge un'accuratezza competitiva, consentendo inferenze veloci e una maggiore efficienza energetica sugli ASIC, colmando il divario tra la stima della profondità ad alte prestazioni e l'applicabilità pratica sui dispositivi edge. Codice: https://github.com/shawnricecake/quart-depth

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth