Messung der Memorierung durch probabilistische entdeckbare Extraktion.

Measuring memorization through probabilistic discoverable extraction

October 25, 2024

Autoren: Jamie Hayes, Marika Swanberg, Harsh Chaudhari, Itay Yona, Ilia Shumailov

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind anfällig dafür, Trainingsdaten auswendig zu lernen, was Bedenken hinsichtlich der potenziellen Extraktion sensibler Informationen aufwirft. Aktuelle Methoden zur Messung der Memorierungsrate von LLMs, hauptsächlich die entdeckbare Extraktion (Carlini et al., 2022), beruhen auf gieriger Einzelsequenz-Auswahl, wodurch das wahre Ausmaß der Memorierung möglicherweise unterschätzt wird. Dieser Artikel stellt eine probabilistische Entspannung der entdeckbaren Extraktion vor, die die Wahrscheinlichkeit quantifiziert, eine Zielsequenz innerhalb einer Reihe generierter Proben zu extrahieren, unter Berücksichtigung verschiedener Probenahmeschemata und mehrerer Versuche. Dieser Ansatz behebt die Einschränkungen bei der Berichterstattung von Memorierungsrate durch entdeckbare Extraktion, indem er die probabilistische Natur von LLMs und Benutzerinteraktionsmuster berücksichtigt. Unsere Experimente zeigen, dass dieses probabilistische Maß Fälle höherer Memorierungsrate aufdecken kann im Vergleich zu den Raten, die durch entdeckbare Extraktion gefunden wurden. Wir untersuchen weiterhin den Einfluss verschiedener Probenahmeschemata auf die Extrahierbarkeit, was eine umfassendere und realistischere Bewertung der LLM-Memorierung und ihrer damit verbundenen Risiken ermöglicht. Unsere Beiträge umfassen eine neue probabilistische Memorierungsdefinition, empirische Beweise für ihre Wirksamkeit und eine gründliche Bewertung über verschiedene Modelle, Größen, Probenahmeschemata und Wiederholungen von Trainingsdaten.

English

Large language models (LLMs) are susceptible to memorizing training data, raising concerns due to the potential extraction of sensitive information. Current methods to measure memorization rates of LLMs, primarily discoverable extraction (Carlini et al., 2022), rely on single-sequence greedy sampling, potentially underestimating the true extent of memorization. This paper introduces a probabilistic relaxation of discoverable extraction that quantifies the probability of extracting a target sequence within a set of generated samples, considering various sampling schemes and multiple attempts. This approach addresses the limitations of reporting memorization rates through discoverable extraction by accounting for the probabilistic nature of LLMs and user interaction patterns. Our experiments demonstrate that this probabilistic measure can reveal cases of higher memorization rates compared to rates found through discoverable extraction. We further investigate the impact of different sampling schemes on extractability, providing a more comprehensive and realistic assessment of LLM memorization and its associated risks. Our contributions include a new probabilistic memorization definition, empirical evidence of its effectiveness, and a thorough evaluation across different models, sizes, sampling schemes, and training data repetitions.