Gemini Embedding: Generalisierbare Einbettungen von Gemini

Gemini Embedding: Generalizable Embeddings from Gemini

March 10, 2025

Autoren: Jinhyuk Lee, Feiyang Chen, Sahil Dua, Daniel Cer, Madhuri Shanbhogue, Iftekhar Naim, Gustavo Hernández Ábrego, Zhe Li, Kaifeng Chen, Henrique Schechter Vera, Xiaoqi Ren, Shanfeng Zhang, Daniel Salz, Michael Boratko, Jay Han, Blair Chen, Shuo Huang, Vikram Rao, Paul Suganthan, Feng Han, Andreas Doumanoglou, Nithi Gupta, Fedor Moiseev, Cathy Yip, Aashi Jain, Simon Baumgartner, Shahrokh Shahi, Frank Palma Gomez, Sandeep Mariserla, Min Choi, Parashar Shah, Sonam Goenka, Ke Chen, Ye Xia, Koert Chen, Sai Meher Karthik Duddu, Yichang Chen, Trevor Walker, Wenlei Zhou, Rakesh Ghiya, Zach Gleicher, Karan Gill, Zhe Dong, Mojtaba Seyedhosseini, Yunhsuan Sung, Raphael Hoffmann, Tom Duerig

cs.AI

Zusammenfassung

In diesem Bericht stellen wir Gemini Embedding vor, ein modernstes Embedding-Modell, das die Leistungsfähigkeit von Gemini, dem leistungsstärksten großen Sprachmodell von Google, nutzt. Indem es die inhärenten Fähigkeiten von Gemini im Bereich Mehrsprachigkeit und Codeverständnis ausnutzt, erzeugt Gemini Embedding hochgradig generalisierbare Embeddings für Texte in zahlreichen Sprachen und Textmodalitäten. Die von Gemini Embedding generierten Repräsentationen können vorberechnet und auf eine Vielzahl von Downstream-Aufgaben angewendet werden, darunter Klassifizierung, Ähnlichkeit, Clustering, Ranking und Retrieval. Evaluiert auf dem Massive Multilingual Text Embedding Benchmark (MMTEB), der über hundert Aufgaben in mehr als 250 Sprachen umfasst, übertrifft Gemini Embedding deutlich frühere State-of-the-Art-Modelle und zeigt erhebliche Verbesserungen in der Embedding-Qualität. Mit State-of-the-Art-Leistungen in den mehrsprachigen, englischen und Code-Benchmarks von MMTEB demonstriert unser einheitliches Modell starke Fähigkeiten über eine breite Auswahl von Aufgaben hinweg und übertrifft spezialisierte, domänenspezifische Modelle.

English

In this report, we introduce Gemini Embedding, a state-of-the-art embedding model leveraging the power of Gemini, Google's most capable large language model. Capitalizing on Gemini's inherent multilingual and code understanding capabilities, Gemini Embedding produces highly generalizable embeddings for text spanning numerous languages and textual modalities. The representations generated by Gemini Embedding can be precomputed and applied to a variety of downstream tasks including classification, similarity, clustering, ranking, and retrieval. Evaluated on the Massive Multilingual Text Embedding Benchmark (MMTEB), which includes over one hundred tasks across 250+ languages, Gemini Embedding substantially outperforms prior state-of-the-art models, demonstrating considerable improvements in embedding quality. Achieving state-of-the-art performance across MMTEB's multilingual, English, and code benchmarks, our unified model demonstrates strong capabilities across a broad selection of tasks and surpasses specialized domain-specific models.