튜터 코파일럿: 실시간 전문 지식 확장을 위한 인간-인공지능 접근법

Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

October 3, 2024

저자: Rose E. Wang, Ana T. Ribeiro, Carly D. Robinson, Susanna Loeb, Dora Demszky

cs.AI

초록

생성적 AI, 특히 언어 모델(LMs)은 전문가 접근이 제한된 경우에 특히 현실 세계 도메인을 사회적 영향을 주는 방식으로 변화시킬 수 있는 잠재력을 가지고 있습니다. 예를 들어 교육 분야에서는 전문가의 지도를 받는 것이 효과적이지만 비용이 많이 들기 때문에 새로운 교사들을 교육하는 것이 중요합니다. 이는 대규모 교육 품질 향상에 상당한 장벽을 만들어냅니다. 이러한 도전은 특히 고품질 교육에서 가장 많은 이득을 얻을 수 있는 소외된 지역 사회의 학생들에게 불평등하게 영향을 미칩니다. 저희는 Tutor CoPilot이라는 새로운 인간-인공지능 접근법을 소개합니다. 이는 전문가 사고 모델을 활용하여 튜터들이 지도하는 동안 전문가와 유사한 지도를 제공합니다. 본 연구는 역사적으로 소외된 지역 사회의 K-12 학생 1,800명과 튜터 900명을 대상으로 한 실시간 지도의 인간-인공지능 시스템의 최초의 무작위 대조 연구입니다. 사전 등록된 분석 계획을 따르면 Tutor CoPilot에 접근할 수 있는 튜터와 함께 공부하는 학생들은 주제를 숙달할 가능성이 4%포인트(p.p.) 더 높다는 것을 발견했습니다 (p<0.01). 특히 등급이 낮은 튜터의 학생들이 가장 큰 혜택을 받아 9%p.p.의 숙련도 향상을 경험했습니다. Tutor CoPilot은 연간 튜터 당 단 20달러의 비용이 든다는 것을 발견했습니다. 우리는 550,000개 이상의 메시지를 분류기를 사용하여 분석하여 튜터들이 Tutor CoPilot에 접근할 때 학생 이해를 촉진하는 고품질 전략(예: 가이드 질문하기)을 사용할 가능성이 더 높으며 학생에게 정답을 알려주는 것보다는 덜 하게 됨을 발견했습니다. 튜터 인터뷰에서는 Tutor CoPilot의 지도가 튜터가 학생의 요구에 대응하는 데 도움이 되지만 학년에 맞지 않는 제안을 생성하는 등 Tutor CoPilot의 문제점을 지적했습니다. 모두 합쳐 Tutor CoPilot의 연구는 인간-인공지능 시스템이 현실 세계 도메인에서 전문성을 확장하고 기술의 간극을 메우며 모든 학생들에게 고품질 교육이 접근 가능한 미래를 창출할 수 있는 방법을 보여줍니다.

English

Generative AI, particularly Language Models (LMs), has the potential to transform real-world domains with societal impact, particularly where access to experts is limited. For example, in education, training novice educators with expert guidance is important for effectiveness but expensive, creating significant barriers to improving education quality at scale. This challenge disproportionately harms students from under-served communities, who stand to gain the most from high-quality education. We introduce Tutor CoPilot, a novel Human-AI approach that leverages a model of expert thinking to provide expert-like guidance to tutors as they tutor. This study is the first randomized controlled trial of a Human-AI system in live tutoring, involving 900 tutors and 1,800 K-12 students from historically under-served communities. Following a preregistered analysis plan, we find that students working with tutors that have access to Tutor CoPilot are 4 percentage points (p.p.) more likely to master topics (p<0.01). Notably, students of lower-rated tutors experienced the greatest benefit, improving mastery by 9 p.p. We find that Tutor CoPilot costs only $20 per-tutor annually. We analyze 550,000+ messages using classifiers to identify pedagogical strategies, and find that tutors with access to Tutor CoPilot are more likely to use high-quality strategies to foster student understanding (e.g., asking guiding questions) and less likely to give away the answer to the student. Tutor interviews highlight how Tutor CoPilot's guidance helps tutors to respond to student needs, though they flag issues in Tutor CoPilot, such as generating suggestions that are not grade-level appropriate. Altogether, our study of Tutor CoPilot demonstrates how Human-AI systems can scale expertise in real-world domains, bridge gaps in skills and create a future where high-quality education is accessible to all students.