Misurare la memorizzazione attraverso l'estrazione scopribile probabilistica.

Measuring memorization through probabilistic discoverable extraction

October 25, 2024

Autori: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov

cs.AI

Abstract

I grandi modelli linguistici (LLM) sono suscettibili di memorizzare i dati di addestramento, sollevando preoccupazioni a causa della potenziale estrazione di informazioni sensibili. I metodi attuali per misurare i tassi di memorizzazione dei LLM, principalmente l'estrazione scopribile (Carlini et al., 2022), si basano su campionamenti avidi a singola sequenza, potenzialmente sottovalutando la vera entità della memorizzazione. Questo articolo introduce un rilassamento probabilistico dell'estrazione scopribile che quantifica la probabilità di estrarre una sequenza target all'interno di un insieme di campioni generati, considerando vari schemi di campionamento e molteplici tentativi. Questo approccio affronta le limitazioni del reporting dei tassi di memorizzazione attraverso l'estrazione scopribile tenendo conto della natura probabilistica dei LLM e dei modelli di interazione dell'utente. I nostri esperimenti dimostrano che questa misura probabilistica può rivelare casi di tassi di memorizzazione più elevati rispetto ai tassi trovati attraverso l'estrazione scopribile. Investigando ulteriormente l'impatto di diversi schemi di campionamento sull'estraibilità, forniamo una valutazione più completa e realistica della memorizzazione dei LLM e dei rischi associati. Le nostre contribuzioni includono una nuova definizione probabilistica di memorizzazione, prove empiriche della sua efficacia e una valutazione approfondita su modelli, dimensioni, schemi di campionamento e ripetizioni dei dati di addestramento diversi.

English

Large language models (LLMs) are susceptible to memorizing training data, raising concerns due to the potential extraction of sensitive information. Current methods to measure memorization rates of LLMs, primarily discoverable extraction (Carlini et al., 2022), rely on single-sequence greedy sampling, potentially underestimating the true extent of memorization. This paper introduces a probabilistic relaxation of discoverable extraction that quantifies the probability of extracting a target sequence within a set of generated samples, considering various sampling schemes and multiple attempts. This approach addresses the limitations of reporting memorization rates through discoverable extraction by accounting for the probabilistic nature of LLMs and user interaction patterns. Our experiments demonstrate that this probabilistic measure can reveal cases of higher memorization rates compared to rates found through discoverable extraction. We further investigate the impact of different sampling schemes on extractability, providing a more comprehensive and realistic assessment of LLM memorization and its associated risks. Our contributions include a new probabilistic memorization definition, empirical evidence of its effectiveness, and a thorough evaluation across different models, sizes, sampling schemes, and training data repetitions.