От запроса к лидерборду

Prompt-to-Leaderboard

February 20, 2025

Авторы: Evan Frick, Connor Chen, Joseph Tennyson, Tianle Li, Wei-Lin Chiang, Anastasios N. Angelopoulos, Ion Stoica

cs.AI

Аннотация

Оценки крупных языковых моделей (LLM) обычно опираются на агрегированные метрики, такие как точность или предпочтения пользователей, усредняя результаты по всем пользователям и запросам. Такое усреднение скрывает специфические для пользователей и запросов вариации в производительности модели. Чтобы решить эту проблему, мы предлагаем метод Prompt-to-Leaderboard (P2L), который создает рейтинги, специфичные для каждого запроса. Основная идея заключается в обучении LLM, которая принимает на вход текстовые запросы и выводит вектор коэффициентов Брэдли-Терри, используемых для предсказания предпочтений пользователей. Полученные рейтинги, зависящие от запросов, позволяют проводить неконтролируемую оценку для конкретных задач, оптимальное распределение запросов между моделями, персонализацию и автоматизированную оценку сильных и слабых сторон моделей. Данные из Chatbot Arena показывают, что P2L лучше отражает сложную картину производительности языковых моделей по сравнению с усредненными рейтингами. Более того, наши результаты указывают на то, что способность P2L создавать оценки, специфичные для запросов, следует степенному закону, аналогичному тому, что наблюдается в самих LLM. В январе 2025 года маршрутизатор, обученный на основе этой методологии, занял первое место в рейтинге Chatbot Arena. Наш код доступен по ссылке на GitHub: https://github.com/lmarena/p2l.

English

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L's ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.