Sizigia dei Pensieri: Migliorare il Ragionamento a Catena nei Modelli Linguistici con la Risoluzione Libera Minima

Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

April 13, 2025

Autori: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen

cs.AI

Abstract

Il prompting a Catena di Pensiero (Chain-of-Thought, CoT) migliora il ragionamento dei grandi modelli linguistici (Large Language Models, LLMs) scomponendo i problemi in passaggi sequenziali, imitando la logica umana e riducendo gli errori. Tuttavia, compiti complessi con ampi spazi di soluzione e vincoli vaghi spesso superano la capacità di una singola catena di ragionamento. Ispirati dalla Risoluzione Libera Minima (Minimal Free Resolution, MFR) in algebra commutativa e geometria algebrica, proponiamo la Sizigia di Pensieri (Syzygy of Thoughts, SoT), un nuovo framework che estende il CoT introducendo percorsi di ragionamento ausiliari e interconnessi. SoT cattura dipendenze logiche più profonde, consentendo una risoluzione dei problemi più robusta e strutturata. La MFR scompone un modulo in una sequenza di moduli liberi con rango minimo, fornendo un approccio analitico strutturato a sistemi complessi. Questo metodo introduce i concetti di "Modulo", "Numeri di Betti", "Libertà", "Mappatura", "Esattezza" e "Minimalità", permettendo la scomposizione sistematica del problema complesso originale in sottoproblemi minimi logicamente completi, preservando le caratteristiche chiave del problema e riducendo la lunghezza del ragionamento. Abbiamo testato SoT su diversi dataset (ad esempio, GSM8K, MATH) e modelli (ad esempio, GPT-4o-mini, Qwen2.5), ottenendo un'accuratezza inferenziale che eguaglia o supera gli standard CoT mainstream. Inoltre, allineando il processo di campionamento con i vincoli algebrici, il nostro approccio migliora la scalabilità del tempo di inferenza nei LLM, garantendo sia un ragionamento trasparente che alte prestazioni. Il nostro codice sarà pubblicamente disponibile all'indirizzo https://github.com/dlMARiA/Syzygy-of-thoughts.

English

Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.