LLM2CLIP: Leistungsstarkes Sprachmodell erschließt reichhaltigere visuelle Darstellung

LLM2CLIP: Powerful Language Model Unlock Richer Visual Representation

November 7, 2024

Autoren: Weiquan Huang, Aoqi Wu, Yifan Yang, Xufang Luo, Yuqing Yang, Liang Hu, Qi Dai, Xiyang Dai, Dongdong Chen, Chong Luo, Lili Qiu

cs.AI

Zusammenfassung

CLIP ist eines der wichtigsten multimodalen Grundlagenmodelle heute. Was treibt die Fähigkeiten von CLIP an? Die reichen Überwachungssignale, die durch natürliche Sprache bereitgestellt werden, dem Träger menschlichen Wissens, formen einen leistungsstarken kreuzmodalen Darstellungsraum. Mit den raschen Fortschritten bei großen Sprachmodellen wie GPT-4 und LLaMA werden jedoch die Grenzen des Sprachverständnisses und der -erzeugung kontinuierlich erweitert. Dies wirft eine faszinierende Frage auf: Können die Fähigkeiten von Sprachmodellen genutzt werden, um die multimodale Darstellungslernfähigkeit weiter zu verbessern? Die potenziellen Vorteile der Einbeziehung von Sprachmodellen in CLIP sind klar. Das starke textuelle Verständnis von Sprachmodellen kann die Fähigkeit von CLIP, Bildunterschriften zu verarbeiten, grundlegend verbessern und somit seine Fähigkeit zur Verarbeitung langer und komplexer Texte, eine bekannte Einschränkung von Vanilla CLIP, drastisch verbessern. Darüber hinaus werden Sprachmodelle auf einem umfangreichen Textkorpus trainiert, der über Weltwissen verfügt. Dies ermöglicht es ihnen, die Informationen der Bildunterschrift während des Trainings zu erweitern und die Effizienz des Lernprozesses zu steigern. In diesem Papier schlagen wir LLM2CLIP vor, einen neuartigen Ansatz, der die Kraft von Sprachmodellen nutzt, um das Potenzial von CLIP freizusetzen. Durch Feinabstimmung des Sprachmodells im Bereich der Bildunterschriften mit kontrastivem Lernen extrahieren wir seine textuellen Fähigkeiten in die Ausgabeeinbettungen und verbessern signifikant die textuelle Unterscheidbarkeit der Ausgabeebene. Anschließend entwerfen wir einen effizienten Schulungsprozess, bei dem das feinabgestimmte Sprachmodell als leistungsstarker Lehrer für den visuellen Encoder von CLIP fungiert. Dank der Anwesenheit des Sprachmodells können wir jetzt längere und komplexere Bildunterschriften einbeziehen, ohne durch die Kontextfenster- und Fähigkeitsbeschränkungen des Textencoders von Vanilla CLIP eingeschränkt zu sein. Unsere Experimente zeigen, dass dieser Ansatz signifikante Verbesserungen bei kreuzmodalen Aufgaben mit sich bringt.

English

CLIP is one of the most important multimodal foundational models today. What powers CLIP's capabilities? The rich supervision signals provided by natural language, the carrier of human knowledge, shape a powerful cross-modal representation space. However, with the rapid advancements in large language models LLMs like GPT-4 and LLaMA, the boundaries of language comprehension and generation are continually being pushed. This raises an intriguing question: can the capabilities of LLMs be harnessed to further improve multimodal representation learning? The potential benefits of incorporating LLMs into CLIP are clear. LLMs' strong textual understanding can fundamentally improve CLIP's ability to handle image captions, drastically enhancing its ability to process long and complex texts, a well-known limitation of vanilla CLIP. Moreover, LLMs are trained on a vast corpus of text, possessing open-world knowledge. This allows them to expand on caption information during training, increasing the efficiency of the learning process. In this paper, we propose LLM2CLIP, a novel approach that embraces the power of LLMs to unlock CLIP's potential. By fine-tuning the LLM in the caption space with contrastive learning, we extract its textual capabilities into the output embeddings, significantly improving the output layer's textual discriminability. We then design an efficient training process where the fine-tuned LLM acts as a powerful teacher for CLIP's visual encoder. Thanks to the LLM's presence, we can now incorporate longer and more complex captions without being restricted by vanilla CLIP's text encoder's context window and ability limitations. Our experiments demonstrate that this approach brings substantial improvements in cross-modal tasks.