Multimodales Sprachmodellierung für hochpräzise Einzelzell-Transkriptomik-Analyse und -Generierung

Multimodal Language Modeling for High-Accuracy Single Cell Transcriptomics Analysis and Generation

March 12, 2025

Autoren: Yaorui Shi, Jiaqi Yang, Sihang Li, Junfeng Fang, Xiang Wang, Zhiyuan Liu, Yang Zhang

cs.AI

Zusammenfassung

Vortrainierte Sprachmodelle (Pre-trained Language Models, PLMs) haben die wissenschaftliche Forschung revolutioniert, doch ihre Anwendung in der Einzelzellanalyse bleibt begrenzt. Text-PLMs können Einzelzell-RNA-Sequenzierungsdaten nicht verarbeiten, während Zell-PLMs nicht in der Lage sind, Freitext zu verarbeiten, was ihre Nutzung in multimodalen Aufgaben einschränkt. Bestehende Bemühungen, diese Modalitäten zu verbinden, leiden oft unter Informationsverlust oder unzureichendem vortrainiertem Einzelmodalitätsmodell, was zu suboptimalen Leistungen führt. Um diese Herausforderungen zu bewältigen, schlagen wir den Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT) vor, ein einheitliches PLM für die gemeinsame Modellierung von Zellen und Text. scMMGPT integriert effektiv die modernsten Zell- und Text-PLMs und erleichtert den cross-modalen Wissensaustausch für verbesserte Leistungen. Um die Text-Zell-Modalitätslücke zu überbrücken, nutzt scMMGPT spezielle cross-modale Projektoren und durchläuft ein umfangreiches Vortraining auf 27 Millionen Zellen – dem bisher größten Datensatz für multimodale Zell-Text-PLMs. Dieses groß angelegte Vortraining ermöglicht es scMMGPT, in gemeinsamen Zell-Text-Aufgaben hervorragende Leistungen zu erbringen, mit einer 84\%igen relativen Verbesserung der textuellen Diskrepanz bei der Zellbeschreibungserzeugung, einer 20,5\% höheren Genauigkeit bei der Zelltyp-Annotation und einer 4\%igen Verbesserung der k-NN-Genauigkeit bei der textbedingten Pseudozellgenerierung, wodurch die Baselines übertroffen werden.

English

Pre-trained language models (PLMs) have revolutionized scientific research, yet their application to single-cell analysis remains limited. Text PLMs cannot process single-cell RNA sequencing data, while cell PLMs lack the ability to handle free text, restricting their use in multimodal tasks. Existing efforts to bridge these modalities often suffer from information loss or inadequate single-modal pre-training, leading to suboptimal performances. To address these challenges, we propose Single-Cell MultiModal Generative Pre-trained Transformer (scMMGPT), a unified PLM for joint cell and text modeling. scMMGPT effectively integrates the state-of-the-art cell and text PLMs, facilitating cross-modal knowledge sharing for improved performance. To bridge the text-cell modality gap, scMMGPT leverages dedicated cross-modal projectors, and undergoes extensive pre-training on 27 million cells -- the largest dataset for multimodal cell-text PLMs to date. This large-scale pre-training enables scMMGPT to excel in joint cell-text tasks, achieving an 84\% relative improvement of textual discrepancy for cell description generation, 20.5\% higher accuracy for cell type annotation, and 4\% improvement in k-NN accuracy for text-conditioned pseudo-cell generation, outperforming baselines.