AI-University: Una piattaforma basata su LLM per l'allineamento didattico alle aule scientifiche

AI-University: An LLM-based platform for instructional alignment to scientific classrooms

April 11, 2025

Autori: Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Dangli Cao, Willie Neiswanger, Krishna Garikipati

cs.AI

Abstract

Presentiamo AI University (AI-U), un framework flessibile per la distribuzione di contenuti didattici guidata dall'intelligenza artificiale che si adatta agli stili di insegnamento dei docenti. Al suo nucleo, AI-U ottimizza un modello linguistico di grandi dimensioni (LLM) con generazione aumentata da recupero (RAG) per produrre risposte allineate al docente a partire da video delle lezioni, appunti e libri di testo. Utilizzando un corso di livello avanzato sul metodo degli elementi finiti (FEM) come caso di studio, presentiamo una pipeline scalabile per costruire sistematicamente dati di addestramento, ottimizzare un LLM open-source con Low-Rank Adaptation (LoRA) e migliorare le sue risposte attraverso una sintesi basata su RAG. La nostra valutazione - che combina similarità del coseno, valutazione basata su LLM e revisione esperta - dimostra un forte allineamento con i materiali del corso. Abbiamo inoltre sviluppato un prototipo di applicazione web, disponibile all'indirizzo https://my-ai-university.com, che migliora la tracciabilità collegando le risposte generate dall'IA a sezioni specifiche del materiale didattico pertinente e a istanze temporali delle video lezioni ad accesso aperto. Il nostro modello esperto ha mostrato una maggiore similarità del coseno con un riferimento nell'86% dei casi di test. Un giudice LLM ha inoltre rilevato che il nostro modello esperto supera il modello base Llama 3.2 circa quattro volte su cinque. AI-U offre un approccio scalabile all'istruzione assistita dall'IA, aprendo la strada a un'adozione più ampia nell'istruzione superiore. Qui, il nostro framework è stato presentato nel contesto di un corso sul FEM - un argomento centrale nella formazione di dottorandi e studenti di master in scienze ingegneristiche. Tuttavia, questo contesto rappresenta un caso particolare di uno scenario più ampio: l'ottimizzazione di LLM per contenuti di ricerca scientifica.

English

We introduce AI University (AI-U), a flexible framework for AI-driven course content delivery that adapts to instructors' teaching styles. At its core, AI-U fine-tunes a large language model (LLM) with retrieval-augmented generation (RAG) to generate instructor-aligned responses from lecture videos, notes, and textbooks. Using a graduate-level finite-element-method (FEM) course as a case study, we present a scalable pipeline to systematically construct training data, fine-tune an open-source LLM with Low-Rank Adaptation (LoRA), and optimize its responses through RAG-based synthesis. Our evaluation - combining cosine similarity, LLM-based assessment, and expert review - demonstrates strong alignment with course materials. We also have developed a prototype web application, available at https://my-ai-university.com, that enhances traceability by linking AI-generated responses to specific sections of the relevant course material and time-stamped instances of the open-access video lectures. Our expert model is found to have greater cosine similarity with a reference on 86% of test cases. An LLM judge also found our expert model to outperform the base Llama 3.2 model approximately four times out of five. AI-U offers a scalable approach to AI-assisted education, paving the way for broader adoption in higher education. Here, our framework has been presented in the setting of a class on FEM - a subject that is central to training PhD and Master students in engineering science. However, this setting is a particular instance of a broader context: fine-tuning LLMs to research content in science.