Ontwikkelingen in Intelligente Colonoscopie.

Frontiers in Intelligent Colonoscopy

October 22, 2024

Auteurs: Ge-Peng Ji, Jingyi Liu, Peng Xu, Nick Barnes, Fahad Shahbaz Khan, Salman Khan, Deng-Ping Fan

cs.AI

Samenvatting

Een colonoscopie is momenteel een van de meest gevoelige screeningsmethoden voor dikkedarmkanker. Deze studie onderzoekt de grenzen van intelligente colonoscopietechnieken en hun toekomstige implicaties voor multimodale medische toepassingen. Met dit doel beginnen we met het beoordelen van de huidige op data en modellen gerichte landschappen door middel van vier taken voor colonoscopische scèneperceptie, waaronder classificatie, detectie, segmentatie en visie-taalbegrip. Deze beoordeling stelt ons in staat om domeinspecifieke uitdagingen te identificeren en onthult dat multimodaal onderzoek in colonoscopie open blijft staan voor verdere verkenning. Om de komende multimodale periode te omarmen, stellen we drie fundamentele initiatieven vast: een grootschalige multimodale instructie-afstemmingsdataset ColonINST, een colonoscopie-ontworpen multimodaal taalmodel ColonGPT, en een multimodale benchmark. Om voortdurende monitoring van dit snel evoluerende vakgebied te vergemakkelijken, bieden we een openbare website voor de laatste updates: https://github.com/ai4colonoscopy/IntelliScope.

English

Colonoscopy is currently one of the most sensitive screening methods for colorectal cancer. This study investigates the frontiers of intelligent colonoscopy techniques and their prospective implications for multimodal medical applications. With this goal, we begin by assessing the current data-centric and model-centric landscapes through four tasks for colonoscopic scene perception, including classification, detection, segmentation, and vision-language understanding. This assessment enables us to identify domain-specific challenges and reveals that multimodal research in colonoscopy remains open for further exploration. To embrace the coming multimodal era, we establish three foundational initiatives: a large-scale multimodal instruction tuning dataset ColonINST, a colonoscopy-designed multimodal language model ColonGPT, and a multimodal benchmark. To facilitate ongoing monitoring of this rapidly evolving field, we provide a public website for the latest updates: https://github.com/ai4colonoscopy/IntelliScope.