QuartDepth: Post-Training-Quantisierung für Echtzeit-Tiefenschätzung am Edge

QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge

March 20, 2025

Autoren: Xuan Shen, Weize Ma, Jing Liu, Changdi Yang, Rui Ding, Quanyi Wang, Henghui Ding, Wei Niu, Yanzhi Wang, Pu Zhao, Jun Lin, Jiuxiang Gu

cs.AI

Zusammenfassung

Monokulare Tiefenschätzung (Monocular Depth Estimation, MDE) hat sich als eine zentrale Aufgabe in der Computer Vision etabliert und unterstützt zahlreiche Anwendungen in der realen Welt. Die Bereitstellung präziser Tiefenschätzungsmodelle auf ressourcenbeschränkten Edge-Geräten, insbesondere auf anwendungsspezifischen integrierten Schaltungen (Application-Specific Integrated Circuits, ASICs), stellt jedoch aufgrund des hohen Rechen- und Speicherbedarfs eine Herausforderung dar. Jüngste Fortschritte in der grundlegenden Tiefenschätzung liefern beeindruckende Ergebnisse, erschweren jedoch die Bereitstellung auf ASICs weiter. Um dies zu bewältigen, schlagen wir QuartDepth vor, das Post-Training-Quantisierung nutzt, um MDE-Modelle mit Hardwarebeschleunigungen für ASICs zu quantisieren. Unser Ansatz beinhaltet die Quantisierung sowohl von Gewichten als auch von Aktivierungen auf 4-Bit-Präzision, wodurch die Modellgröße und die Rechenkosten reduziert werden. Um die Leistungsverschlechterung zu minimieren, führen wir einen Aktivierungsglättungs- und Kompensationsalgorithmus ein, der vor und nach der Aktivierungsquantisierung angewendet wird, sowie eine Gewichtsrekonstruktionsmethode zur Minimierung von Fehlern bei der Gewichtsquantisierung. Darüber hinaus entwerfen wir einen flexiblen und programmierbaren Hardwarebeschleuniger, der Kernel-Fusion und maßgeschneiderte Anweisungsprogrammierbarkeit unterstützt, wodurch der Durchsatz und die Effizienz gesteigert werden. Experimentelle Ergebnisse zeigen, dass unser Framework eine wettbewerbsfähige Genauigkeit erreicht, während es eine schnelle Inferenz und eine höhere Energieeffizienz auf ASICs ermöglicht und so die Lücke zwischen hochleistungsfähiger Tiefenschätzung und praktischer Anwendbarkeit auf Edge-Geräten schließt. Code: https://github.com/shawnricecake/quart-depth

English

Monocular Depth Estimation (MDE) has emerged as a pivotal task in computer vision, supporting numerous real-world applications. However, deploying accurate depth estimation models on resource-limited edge devices, especially Application-Specific Integrated Circuits (ASICs), is challenging due to the high computational and memory demands. Recent advancements in foundational depth estimation deliver impressive results but further amplify the difficulty of deployment on ASICs. To address this, we propose QuartDepth which adopts post-training quantization to quantize MDE models with hardware accelerations for ASICs. Our approach involves quantizing both weights and activations to 4-bit precision, reducing the model size and computation cost. To mitigate the performance degradation, we introduce activation polishing and compensation algorithm applied before and after activation quantization, as well as a weight reconstruction method for minimizing errors in weight quantization. Furthermore, we design a flexible and programmable hardware accelerator by supporting kernel fusion and customized instruction programmability, enhancing throughput and efficiency. Experimental results demonstrate that our framework achieves competitive accuracy while enabling fast inference and higher energy efficiency on ASICs, bridging the gap between high-performance depth estimation and practical edge-device applicability. Code: https://github.com/shawnricecake/quart-depth