GeoPixel: Pixelverankerung eines großen multimodalen Modells in der Fernerkundung

GeoPixel: Pixel Grounding Large Multimodal Model in Remote Sensing

January 23, 2025

Autoren: Akashah Shabbir, Mohammed Zumri, Mohammed Bennamoun, Fahad S. Khan, Salman Khan

cs.AI

Zusammenfassung

In jüngster Zeit haben Fortschritte bei großen multimodalen Modellen (LMMs) die feinkörnige Verankerung als einen entscheidenden Faktor für das visuelle Verständnis und den Dialog anerkannt. Die Vorteile einer solchen Repräsentation in LMMs beschränken sich jedoch auf den natürlichen Bildbereich, und diese Modelle erzielen schlechte Leistungen für die Fernerkundung (RS). Die unterschiedliche Überblicksperspektive, die Skalenvielfalt und das Vorhandensein kleiner Objekte in hochauflösenden RS-Bildern stellen eine einzigartige Herausforderung für das Verständnis auf Regionsebene dar. Darüber hinaus wird die Entwicklung der Verankerungsfähigkeit von LMMs im RS-Bereich durch den Mangel an granularen, RS-domänenspezifischen verankerten Daten behindert. Um diese Einschränkungen anzugehen, schlagen wir GeoPixel vor - das erste End-to-End-Hochauflösungs-RS-LMM, das eine Verankerung auf Pixel-Ebene unterstützt. Diese Fähigkeit ermöglicht ein feinkörniges visuelles Verständnis durch die Erzeugung ineinandergreifender Masken im Dialog. GeoPixel unterstützt Auflösungen von bis zu 4K HD in jedem Seitenverhältnis, ideal für die hochpräzise Analyse von RS-Bildern. Um die Erzeugung von verankerten Gesprächen (GCG) in RS-Bildern zu unterstützen, kuratieren wir einen visuell verankerten Datensatz GeoPixelD durch eine teilautomatisierte Pipeline, die Set-of-Marks-Prompting und speziell für RS-Daten angepasste räumliche Prioritäten nutzt, um den Datenerzeugungsprozess methodisch zu steuern. GeoPixel zeigt eine überlegene Leistung im Verständnis auf Pixel-Ebene und übertrifft bestehende LMMs sowohl bei Einzelziel- als auch bei Mehrziel-Segmentierungsaufgaben. Unsere methodischen Ablationsstudien bestätigen die Wirksamkeit jedes Bestandteils in der Gesamtarchitektur. Unser Code und unsere Daten werden öffentlich zugänglich gemacht.

English

Recent advances in large multimodal models (LMMs) have recognized fine-grained grounding as an imperative factor of visual understanding and dialogue. However, the benefits of such representation in LMMs are limited to the natural image domain, and these models perform poorly for remote sensing (RS). The distinct overhead viewpoint, scale variation, and presence of small objects in high-resolution RS imagery present a unique challenge in region-level comprehension. Moreover, the development of the grounding conversation capability of LMMs within RS is hindered by the lack of granular, RS domain-specific grounded data. Addressing these limitations, we propose GeoPixel - the first end-to-end high resolution RS-LMM that supports pixel-level grounding. This capability allows fine-grained visual perception by generating interleaved masks in conversation. GeoPixel supports up to 4K HD resolution in any aspect ratio, ideal for high-precision RS image analysis. To support the grounded conversation generation (GCG) in RS imagery, we curate a visually grounded dataset GeoPixelD through a semi-automated pipeline that utilizes set-of-marks prompting and spatial priors tailored for RS data to methodically control the data generation process. GeoPixel demonstrates superior performance in pixel-level comprehension, surpassing existing LMMs in both single-target and multi-target segmentation tasks. Our methodological ablation studies validate the effectiveness of each component in the overall architecture. Our code and data will be publicly released.