DOEI: Двойная оптимизация информации вложения для карт активации классов с улучшенным вниманием

DOEI: Dual Optimization of Embedding Information for Attention-Enhanced Class Activation Maps

February 21, 2025

Авторы: Hongjie Zhu, Zeyu Zhang, Guansong Pang, Xu Wang, Shimin Wen, Yu Bai, Daji Ergu, Ying Cai, Yang Zhao

cs.AI

Аннотация

Слабо контролируемая семантическая сегментация (WSSS) обычно использует ограниченные семантические аннотации для получения начальных карт активации классов (CAM). Однако из-за недостаточной связи между активацией классов и семантической информацией в высокоразмерном пространстве CAM подвержена проблемам совместного появления объектов или недостаточной активации, что приводит к снижению точности распознавания. Для решения этой проблемы мы предлагаем DOEI (Dual Optimization of Embedding Information) — новый подход, который реконструирует встраиваемые представления с помощью семантически осознанных матриц весов внимания, чтобы оптимизировать способность выражения встраиваемой информации. В частности, DOEI усиливает токены с высокой уверенностью и подавляет токены с низкой уверенностью в процессе взаимодействия класса с патчем. Это выравнивание активационных ответов с семантической информацией усиливает распространение и разделение целевых признаков, позволяя сгенерированным встраиваниям более точно представлять целевые признаки в высокоуровневом семантическом пространстве. Кроме того, мы предлагаем модуль гибридного выравнивания признаков в DOEI, который объединяет значения RGB, признаки, управляемые встраиванием, и веса самовнимания для повышения надежности кандидатных токенов. Комплексные эксперименты показывают, что DOEI является эффективным модулем plug-and-play, который позволяет современным моделям WSSS на основе визуальных трансформеров значительно улучшить качество CAM и производительность сегментации на популярных бенчмарках, включая PASCAL VOC (+3,6%, +1,5%, +1,2% mIoU) и MS COCO (+1,2%, +1,6% mIoU). Код будет доступен по адресу https://github.com/AIGeeksGroup/DOEI.

English

Weakly supervised semantic segmentation (WSSS) typically utilizes limited semantic annotations to obtain initial Class Activation Maps (CAMs). However, due to the inadequate coupling between class activation responses and semantic information in high-dimensional space, the CAM is prone to object co-occurrence or under-activation, resulting in inferior recognition accuracy. To tackle this issue, we propose DOEI, Dual Optimization of Embedding Information, a novel approach that reconstructs embedding representations through semantic-aware attention weight matrices to optimize the expression capability of embedding information. Specifically, DOEI amplifies tokens with high confidence and suppresses those with low confidence during the class-to-patch interaction. This alignment of activation responses with semantic information strengthens the propagation and decoupling of target features, enabling the generated embeddings to more accurately represent target features in high-level semantic space. In addition, we propose a hybrid-feature alignment module in DOEI that combines RGB values, embedding-guided features, and self-attention weights to increase the reliability of candidate tokens. Comprehensive experiments show that DOEI is an effective plug-and-play module that empowers state-of-the-art visual transformer-based WSSS models to significantly improve the quality of CAMs and segmentation performance on popular benchmarks, including PASCAL VOC (+3.6%, +1.5%, +1.2% mIoU) and MS COCO (+1.2%, +1.6% mIoU). Code will be available at https://github.com/AIGeeksGroup/DOEI.