OLMoTrace: Tracciare gli Output dei Modelli Linguistici fino a Trilioni di Token di Addestramento

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

April 9, 2025

Autori: Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge

cs.AI

Abstract

Presentiamo OLMoTrace, il primo sistema in grado di tracciare gli output dei modelli linguistici fino ai loro dati di addestramento completi, composti da migliaia di miliardi di token, in tempo reale. OLMoTrace individua e mostra corrispondenze testuali tra segmenti di output dei modelli linguistici e documenti presenti nei corpora di testo di addestramento. Basato su una versione estesa di infini-gram (Liu et al., 2024), il nostro sistema restituisce i risultati di tracciamento in pochi secondi. OLMoTrace può aiutare gli utenti a comprendere il comportamento dei modelli linguistici attraverso la lente dei loro dati di addestramento. Dimostriamo come può essere utilizzato per esplorare il fact checking, le allucinazioni e la creatività dei modelli linguistici. OLMoTrace è disponibile pubblicamente e completamente open-source.

English

We present OLMoTrace, the first system that traces the outputs of language models back to their full, multi-trillion-token training data in real time. OLMoTrace finds and shows verbatim matches between segments of language model output and documents in the training text corpora. Powered by an extended version of infini-gram (Liu et al., 2024), our system returns tracing results within a few seconds. OLMoTrace can help users understand the behavior of language models through the lens of their training data. We showcase how it can be used to explore fact checking, hallucination, and the creativity of language models. OLMoTrace is publicly available and fully open-source.