Cost-of-Pass: Een Economisch Kader voor de Evaluatie van Taalmodellen

Cost-of-Pass: An Economic Framework for Evaluating Language Models

April 17, 2025

Auteurs: Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

cs.AI

Samenvatting

De brede adoptie van AI-systemen in de economie hangt af van hun vermogen om economische waarde te genereren die hoger is dan hun inferentiekosten. Het evalueren van deze afweging vereist metrieken die zowel prestaties als kosten in rekening brengen. Wij stellen een raamwerk voor, gebaseerd op productietheorie, voor het evalueren van taalmodellen door nauwkeurigheid en inferentiekosten te combineren. We introduceren "cost-of-pass", de verwachte monetaire kosten voor het genereren van een correcte oplossing. Vervolgens definiëren we de "frontier cost-of-pass" als de minimale cost-of-pass die haalbaar is over beschikbare modellen of de "menselijke expert", gebruikmakend van de geschatte kosten van het inhuren van een expert. Onze analyse onthult duidelijke economische inzichten. Ten eerste zijn lichtgewicht modellen het meest kosteneffectief voor basale kwantitatieve taken, grote modellen voor kennisintensieve taken, en redeneermodellen voor complexe kwantitatieve problemen, ondanks hogere kosten per token. Ten tweede laat het volgen van deze frontier cost-of-pass over het afgelopen jaar significante vooruitgang zien, met name voor complexe kwantitatieve taken waar de kosten ongeveer elke paar maanden zijn gehalveerd. Ten derde onderzoeken we, om belangrijke innovaties die deze vooruitgang drijven te traceren, tegenfeitelijke grenzen: schattingen van kostenefficiëntie zonder specifieke modelklassen. We constateren dat innovaties in lichtgewicht, grote en redeneermodellen essentieel zijn geweest voor het verleggen van de grens in respectievelijk basale kwantitatieve, kennisintensieve en complexe kwantitatieve taken. Tot slot beoordelen we de kostenverlagingen die worden geboden door veelgebruikte inferentietechnieken zoals meerderheidsstemming en zelfverfijning, en concluderen dat hun marginale nauwkeurigheidswinsten zelden hun kosten rechtvaardigen. Onze bevindingen benadrukken dat complementaire innovaties op modelniveau de belangrijkste drijvers zijn van kostenefficiëntie, en ons economische raamwerk biedt een principieel instrument om deze vooruitgang te meten en de implementatie te begeleiden.

English

The widespread adoption of AI systems in the economy hinges on their ability to generate economic value that outweighs their inference costs. Evaluating this tradeoff requires metrics that account for both performance and costs. We propose a framework grounded in production theory for evaluating language models by combining accuracy and inference cost. We introduce "cost-of-pass", the expected monetary cost of generating a correct solution. We then define the "frontier cost-of-pass" as the minimum cost-of-pass achievable across available models or the "human-expert, using the approximate cost of hiring an expert. Our analysis reveals distinct economic insights. First, lightweight models are most cost-effective for basic quantitative tasks, large models for knowledge-intensive ones, and reasoning models for complex quantitative problems, despite higher per-token costs. Second, tracking this frontier cost-of-pass over the past year reveals significant progress, particularly for complex quantitative tasks where the cost has roughly halved every few months. Third, to trace key innovations driving this progress, we examine counterfactual frontiers: estimates of cost-efficiency without specific model classes. We find that innovations in lightweight, large, and reasoning models have been essential for pushing the frontier in basic quantitative, knowledge-intensive, and complex quantitative tasks, respectively. Finally, we assess the cost-reductions afforded by common inference-time techniques like majority voting and self-refinement, finding that their marginal accuracy gains rarely justify their costs. Our findings underscore that complementary model-level innovations are the primary drivers of cost-efficiency, and our economic framework provides a principled tool for measuring this progress and guiding deployment.