태풍 T1: 오픈 태국 추론 모델

Typhoon T1: An Open Thai Reasoning Model

February 13, 2025

저자: Pittawat Taveekitworachai, Potsawee Manakul, Kasima Tharnpipitchai, Kunat Pipatanakul

cs.AI

초록

본 논문은 오픈 태국 추론 모델을 개발하기 위한 오픈 노력인 태풍 T1을 소개합니다. 추론 모델은 대규모 언어 모델(LLMs) 위에 구축된 상대적으로 새로운 유형의 생성 모델입니다. 추론 모델은 최종 답변에 이르기 전에 긴 사고 체인을 생성하는데, 이는 복잡한 작업에서 성능을 향상시키는 방법으로 알려져 있습니다. 그러나 특히 저자원 언어에서 추적을 생성할 수 있는 추론 모델을 개발하는 세부 사항은 제한적입니다. 태풍 T1은 감독된 세밀 조정을 활용하여 강화 학습이 아닌 오픈 데이터셋을 사용하여 추론 모델을 보다 비용 효율적으로 개발하는 세부 사항에 대해 탐구하는 오픈 노력을 제시합니다. 본 논문은 합성 데이터 생성 및 훈련, 그리고 데이터셋 및 모델 가중치에 대한 세부 정보를 공유합니다. 더불어, 우리는 도메인을 넘나드는 추론 모델을 개발하고, 태국어를 예시로 활용하여 저자원 언어에서 추론 추적을 생성할 수 있는 통찰을 제공합니다. 본 노력이 이 분야에서의 추가 연구를 위한 기초를 제공하기를 희망합니다.

English

This paper introduces Typhoon T1, an open effort to develop an open Thai reasoning model. A reasoning model is a relatively new type of generative model built on top of large language models (LLMs). A reasoning model generates a long chain of thought before arriving at a final answer, an approach found to improve performance on complex tasks. However, details on developing such a model are limited, especially for reasoning models that can generate traces in a low-resource language. Typhoon T1 presents an open effort that dives into the details of developing a reasoning model in a more cost-effective way by leveraging supervised fine-tuning using open datasets, instead of reinforcement learning. This paper shares the details about synthetic data generation and training, as well as our dataset and model weights. Additionally, we provide insights gained from developing a reasoning model that generalizes across domains and is capable of generating reasoning traces in a low-resource language, using Thai as an example. We hope this open effort provides a foundation for further research in this field.