m1: Sfruttare il Potenziale del Ridimensionamento al Momento del Test per il Ragionamento Medico con Modelli Linguistici di Grandi Dimensioni

m1: Unleash the Potential of Test-Time Scaling for Medical Reasoning with Large Language Models

April 1, 2025

Autori: Xiaoke Huang, Juncheng Wu, Hui Liu, Xianfeng Tang, Yuyin Zhou

cs.AI

Abstract

Il ridimensionamento al momento del test è emerso come una tecnica potente per migliorare le capacità di ragionamento dei modelli linguistici di grandi dimensioni. Tuttavia, la sua efficacia nel ragionamento medico rimane incerta, poiché il dominio medico differisce fondamentalmente dai compiti matematici in termini di rappresentazione della conoscenza e processi decisionali. In questo articolo, forniamo la prima indagine completa sul ridimensionamento al momento del test per il ragionamento medico e presentiamo m1, un approccio semplice ma efficace che aumenta la capacità di ragionamento medico di un modello durante l'inferenza. La nostra valutazione su una varietà di compiti medici dimostra che il ridimensionamento al momento del test migliora costantemente il ragionamento medico, consentendo a modelli leggeri e ottimizzati con meno di 10B di parametri di stabilire nuove prestazioni all'avanguardia, mentre il nostro modello da 32B rivaleggia con precedenti modelli linguistici medici su scala 70B. Tuttavia, identifichiamo un budget ottimale di token di ragionamento di circa 4K, oltre il quale le prestazioni possono degradare a causa di un eccessivo ragionamento. Il forzamento del budget, che estende il calcolo al momento del test attraverso prompt iterativi, aiuta i modelli a ricontrollare le risposte ma non migliora necessariamente le prestazioni complessive delle domande e risposte mediche e, in alcuni casi, introduce persino errori in risposte precedentemente corrette. La nostra analisi caso per caso identifica una conoscenza medica insufficiente come un collo di bottiglia chiave che impedisce ulteriori guadagni di prestazioni attraverso il ridimensionamento al momento del test. Scopriamo che aumentare la scala dei dati, migliorare la qualità dei dati e espandere la capacità del modello migliora costantemente l'ancoraggio della conoscenza medica, consentendo miglioramenti continui delle prestazioni, in particolare su benchmark medici impegnativi dove i modelli più piccoli raggiungono la saturazione. Questi risultati sottolineano le differenze fondamentali tra il ragionamento medico e quello matematico nei modelli linguistici di grandi dimensioni, evidenziando che una conoscenza medica arricchita, oltre a una maggiore profondità di ragionamento, è essenziale per realizzare i benefici del ridimensionamento al momento del test.

English

Test-time scaling has emerged as a powerful technique for enhancing the reasoning capabilities of large language models. However, its effectiveness in medical reasoning remains uncertain, as the medical domain fundamentally differs from mathematical tasks in terms of knowledge representation and decision-making processes. In this paper, we provide the first comprehensive investigation of test-time scaling for medical reasoning and present m1, a simple yet effective approach that increases a model's medical reasoning capability at inference. Our evaluation across diverse medical tasks demonstrates that test-time scaling consistently enhances medical reasoning, enabling lightweight fine-tuned models under 10B parameters to establish new state-of-the-art performance, while our 32B model rivals previous 70B-scale medical LLMs. However, we identify an optimal reasoning token budget of approximately 4K, beyond which performance may degrade due to overthinking. Budget forcing, which extends test-time computation through iterative prompts, helps models double-check answers but does not necessarily improve the overall medical QA performance and, in some cases, even introduces errors into previously correct responses. Our case-by-case analysis identifies insufficient medical knowledge as a key bottleneck that prevents further performance gains through test-time scaling. We find that increasing data scale, improving data quality, and expanding model capacity consistently enhance medical knowledge grounding, enabling continued performance improvements, particularly on challenging medical benchmarks where smaller models reach saturation. These findings underscore fundamental differences between medical and mathematical reasoning in LLMs, highlighting that enriched medical knowledge, other than increased reasoning depth alone, is essential for realizing the benefits of test-time scaling.