Paesaggio dei Pensieri: Visualizzazione del Processo di Ragionamento dei Modelli Linguistici su Larga Scala

Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models

March 28, 2025

Autori: Zhanke Zhou, Zhaocheng Zhu, Xuan Li, Mikhail Galkin, Xiao Feng, Sanmi Koyejo, Jian Tang, Bo Han

cs.AI

Abstract

Numerose applicazioni dei modelli linguistici di grandi dimensioni (LLM) si basano sulla loro capacità di eseguire ragionamenti passo-passo. Tuttavia, il comportamento di ragionamento degli LLM rimane poco compreso, ponendo sfide alla ricerca, allo sviluppo e alla sicurezza. Per colmare questa lacuna, introduciamo il "paesaggio dei pensieri", il primo strumento di visualizzazione che consente agli utenti di ispezionare i percorsi di ragionamento della catena di pensiero e delle sue derivate su qualsiasi dataset a scelta multipla. Nello specifico, rappresentiamo gli stati in un percorso di ragionamento come vettori di caratteristiche che quantificano le loro distanze da tutte le opzioni di risposta. Queste caratteristiche vengono poi visualizzate in grafici bidimensionali utilizzando t-SNE. L'analisi qualitativa e quantitativa con il paesaggio dei pensieri distingue efficacemente tra modelli forti e deboli, risposte corrette e errate, nonché diversi compiti di ragionamento. Inoltre, rivela modelli di ragionamento indesiderati, come bassa coerenza e alta incertezza. Gli utenti possono anche adattare il nostro strumento a un modello che predice la proprietà che osservano. Dimostriamo questo vantaggio adattando il nostro strumento a un verificatore leggero che valuta la correttezza dei percorsi di ragionamento. Il codice è disponibile pubblicamente all'indirizzo: https://github.com/tmlr-group/landscape-of-thoughts.

English

Numerous applications of large language models (LLMs) rely on their ability to perform step-by-step reasoning. However, the reasoning behavior of LLMs remains poorly understood, posing challenges to research, development, and safety. To address this gap, we introduce landscape of thoughts-the first visualization tool for users to inspect the reasoning paths of chain-of-thought and its derivatives on any multi-choice dataset. Specifically, we represent the states in a reasoning path as feature vectors that quantify their distances to all answer choices. These features are then visualized in two-dimensional plots using t-SNE. Qualitative and quantitative analysis with the landscape of thoughts effectively distinguishes between strong and weak models, correct and incorrect answers, as well as different reasoning tasks. It also uncovers undesirable reasoning patterns, such as low consistency and high uncertainty. Additionally, users can adapt our tool to a model that predicts the property they observe. We showcase this advantage by adapting our tool to a lightweight verifier that evaluates the correctness of reasoning paths. The code is publicly available at: https://github.com/tmlr-group/landscape-of-thoughts.