SBI-RAG: Het verbeteren van het oplossen van wiskundige verhaalproblemen voor studenten door middel van op schema gebaseerde instructie en generatie met versterkte ophaling.

SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation

October 17, 2024

Auteurs: Prakhar Dixit, Tim Oates

cs.AI

Samenvatting

Veel studenten hebben moeite met wiskundige verhaalproblemen (WVP's), waarbij ze het vaak lastig vinden om de belangrijkste informatie te identificeren en de juiste wiskundige bewerkingen te selecteren. Schema-gebaseerde instructie (SBI) is een op bewijs gebaseerde strategie die studenten helpt problemen te categoriseren op basis van hun structuur, wat de nauwkeurigheid van probleemoplossing verbetert. Voortbouwend hierop stellen we een Schema-Gebaseerde Instructie Ophalings-Versterkte Generatie (SBI-RAG) framework voor dat een groot taalmodel (LLM) incorporeert. Onze benadering benadrukt stapsgewijs redeneren door schema's te benutten om de oplossingsgeneratie te sturen. We evalueren de prestaties ervan op de GSM8K dataset, waarbij we het vergelijken met GPT-4 en GPT-3.5 Turbo, en introduceren een "redeneerscore" metriek om de kwaliteit van oplossingen te beoordelen. Onze bevindingen suggereren dat SBI-RAG de helderheid van redeneren en de nauwkeurigheid van probleemoplossing verbetert, wat mogelijk educatieve voordelen biedt voor studenten.

English

Many students struggle with math word problems (MWPs), often finding it difficult to identify key information and select the appropriate mathematical operations.Schema-based instruction (SBI) is an evidence-based strategy that helps students categorize problems based on their structure, improving problem-solving accuracy. Building on this, we propose a Schema-Based Instruction Retrieval-Augmented Generation (SBI-RAG) framework that incorporates a large language model (LLM).Our approach emphasizes step-by-step reasoning by leveraging schemas to guide solution generation. We evaluate its performance on the GSM8K dataset, comparing it with GPT-4 and GPT-3.5 Turbo, and introduce a "reasoning score" metric to assess solution quality. Our findings suggest that SBI-RAG enhances reasoning clarity and problem-solving accuracy, potentially providing educational benefits for students