사고의 다이어그램에 관하여

On the Diagram of Thought

September 16, 2024

저자: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

cs.AI

초록

우리는 Thought Diagram (DoT)을 소개합니다. 이는 대형 언어 모델 (LLM)에서 반복적 추론을 모델링하는 프레임워크로, 단일 모델 내에서 방향성 비순환 그래프 (DAG)를 구성하는 것으로 나타냅니다. 추론을 선형 체인이나 트리로 나타내는 전통적 방식과는 달리, DoT은 명제, 비평, 정제 및 검증을 하나로 묶은 DAG 구조로 구성하여 모델이 복잡한 추론 경로를 탐색하면서 논리적 일관성을 유지할 수 있도록 합니다. 다이어그램의 각 노드는 제안된 명제, 비평, 정제 또는 검증에 해당하며, LLM이 자연어 피드백을 통해 추론을 반복적으로 개선할 수 있게 합니다. 역할별 토큰을 사용하여 자기 회귀적인 다음 토큰 예측을 활용함으로써 DoT은 아이디어 제안과 비판적 평가 사이의 원활한 전환을 용이하게 하여 이진 신호보다 더 풍부한 피드백을 제공합니다. 더 나아가, 우리는 Topos 이론을 사용하여 DoT 프레임워크를 형식화하여 추론 프로세스에서 논리적 일관성과 타당성을 보장하는 수학적 기반을 제공합니다. 이 접근 방식은 단일 LLM 내에서 교육 및 추론 프로세스를 모두 향상시켜 여러 모델이나 외부 제어 메커니즘의 필요성을 제거합니다. DoT은 교육 효율성, 강력한 추론 능력 및 이론적 기반을 강조하는 차세대 추론 전문 모델 설계를 위한 개념적 프레임워크를 제공합니다. 코드는 https://github.com/diagram-of-thought/diagram-of-thought에서 확인할 수 있습니다.

English

We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike traditional approaches that represent reasoning as linear chains or trees, DoT organizes propositions, critiques, refinements, and verifications into a cohesive DAG structure, allowing the model to explore complex reasoning pathways while maintaining logical consistency. Each node in the diagram corresponds to a proposition that has been proposed, critiqued, refined, or verified, enabling the LLM to iteratively improve its reasoning through natural language feedback. By leveraging auto-regressive next-token prediction with role-specific tokens, DoT facilitates seamless transitions between proposing ideas and critically evaluating them, providing richer feedback than binary signals. Furthermore, we formalize the DoT framework using Topos Theory, providing a mathematical foundation that ensures logical consistency and soundness in the reasoning process. This approach enhances both the training and inference processes within a single LLM, eliminating the need for multiple models or external control mechanisms. DoT offers a conceptual framework for designing next-generation reasoning-specialized models, emphasizing training efficiency, robust reasoning capabilities, and theoretical grounding. The code is available at https://github.com/diagram-of-thought/diagram-of-thought.