문제 트리: 복합성을 활용한 구조화된 문제 해결 개선

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024
저자: Armel Zebaze, Benoît Sagot, Rachel Bawden
cs.AI

초록

대형 언어 모델 (LLM)은 맥락 내 학습을 통해 다양한 작업에서 놀라운 성과를 보여주었습니다. 단계별 사고가 필요한 복잡한 추론 작업에 대해 Chain-of-Thought (CoT) 프롬프팅은 특히 자기 일관성과 결합될 때 인상적인 결과를 보여주었습니다. 그럼에도 불구하고, 일부 작업은 LLM에게 특히 어려운 것으로 남아 있습니다. Tree of Thoughts (ToT)와 Graph of Thoughts (GoT)가 대안으로 등장하여 복잡한 문제를 하위 문제 경로로 분할합니다. 본 논문에서는 Tree of Problems (ToP)을 제안합니다. 이는 ToT의 간소화된 버전으로, 동일한 하위 작업으로 나눌 수 있는 복잡한 작업에 더 나은 성과를 낼 것으로 가정합니다. 우리의 경험적 결과는 우리의 접근 방식이 ToT와 GoT보다 우수한 성과를 보여주며, 또한 복잡한 추론 작업에서 CoT보다 우수한 성과를 거두었습니다. 이 논문의 모든 코드는 다음에서 공개적으로 이용 가능합니다: https://github.com/ArmelRandy/tree-of-problems.
English
Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.

Summary

AI-Generated Summary

PDF82November 16, 2024