SBI-RAG: 스키마 기반 지시와 검색 증강 생성을 통해 학생들의 수학 워드 문제 해결 능력 향상

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

저자: Prakhar Dixit, Tim Oates

cs.AI

초록

많은 학생들이 수학 워드 문제(MWPs)에 어려움을 겪는데, 종종 주요 정보를 식별하고 적절한 수학 연산을 선택하는 것이 어렵다. 스키마 기반 교수법(SBI)은 학생들이 문제를 구조에 따라 분류하여 문제 해결 정확도를 향상시키는 증거에 기반한 전략이다. 이를 더욱 발전시켜, 우리는 대형 언어 모델(LLM)을 통합한 스키마 기반 교수법 검색-증강 생성(SBI-RAG) 프레임워크를 제안한다. 우리의 접근 방식은 스키마를 활용하여 해결책 생성을 안내함으로써 단계별 추론을 강조한다. 우리는 GSM8K 데이터셋에서 이를 GPT-4와 GPT-3.5 Turbo와 비교하여 성능을 평가하고, 해결책 품질을 평가하기 위한 "추론 점수" 지표를 소개한다. 우리의 연구 결과는 SBI-RAG가 추론 명확성과 문제 해결 정확도를 향상시키며, 학생들에게 교육적 이점을 제공할 수 있는 가능성을 시사한다.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students