Untersuchung der Unsicherheit von menschenorientierten großen Sprachmodellen

Investigating Human-Aligned Large Language Model Uncertainty

March 16, 2025

Autoren: Kyle Moore, Jesse Roberts, Daryl Watson, Pamela Wisniewski

cs.AI

Zusammenfassung

Aktuelle Arbeiten haben versucht, die Unsicherheit großer Sprachmodelle zu quantifizieren, um die Modellsteuerung zu erleichtern und das Vertrauen der Nutzer zu modulieren. Bisherige Arbeiten konzentrieren sich auf Unsicherheitsmaße, die theoretisch fundiert sind oder das durchschnittliche offene Verhalten des Modells widerspiegeln. In dieser Arbeit untersuchen wir eine Vielzahl von Unsicherheitsmaßen, um solche zu identifizieren, die mit der Unsicherheit auf Gruppenebene beim Menschen korrelieren. Wir stellen fest, dass bayessche Maße und eine Variante von Entropiemaßen, die Top-k-Entropie, tendenziell mit dem menschlichen Verhalten als Funktion der Modellgröße übereinstimmen. Wir beobachten, dass einige starke Maße mit zunehmender Modellgröße in ihrer Ähnlichkeit zum Menschen abnehmen. Durch multiple lineare Regression zeigen wir jedoch, dass die Kombination mehrerer Unsicherheitsmaße eine vergleichbare Ausrichtung am menschlichen Verhalten mit reduzierter Größenabhängigkeit ermöglicht.

English

Recent work has sought to quantify large language model uncertainty to facilitate model control and modulate user trust. Previous works focus on measures of uncertainty that are theoretically grounded or reflect the average overt behavior of the model. In this work, we investigate a variety of uncertainty measures, in order to identify measures that correlate with human group-level uncertainty. We find that Bayesian measures and a variation on entropy measures, top-k entropy, tend to agree with human behavior as a function of model size. We find that some strong measures decrease in human-similarity with model size, but, by multiple linear regression, we find that combining multiple uncertainty measures provide comparable human-alignment with reduced size-dependency.