Обзор больших языковых моделей для статистиков

An Overview of Large Language Models for Statisticians

February 25, 2025

Авторы: Wenlong Ji, Weizhe Yuan, Emily Getzen, Kyunghyun Cho, Michael I. Jordan, Song Mei, Jason E Weston, Weijie J. Su, Jing Xu, Linjun Zhang

cs.AI

Аннотация

Крупные языковые модели (LLM) стали революционными инструментами в области искусственного интеллекта (ИИ), демонстрируя впечатляющие возможности в таких разнообразных задачах, как генерация текста, рассуждение и принятие решений. Хотя их успех в первую очередь обусловлен достижениями в вычислительной мощности и архитектурах глубокого обучения, возникающие проблемы — в таких областях, как количественная оценка неопределенности, принятие решений, причинно-следственный вывод и сдвиги распределений — требуют более глубокого взаимодействия с областью статистики. В данной статье исследуются потенциальные направления, в которых статистики могут внести важный вклад в развитие LLM, особенно тех, которые направлены на обеспечение доверия и прозрачности для пользователей. Таким образом, мы сосредотачиваемся на таких вопросах, как количественная оценка неопределенности, интерпретируемость, справедливость, конфиденциальность, водяные знаки и адаптация моделей. Мы также рассматриваем возможные роли LLM в статистическом анализе. Сближая ИИ и статистику, мы стремимся способствовать более глубокому сотрудничеству, которое продвинет как теоретические основы, так и практические применения LLM, в конечном итоге определяя их роль в решении сложных социальных задач.

English

Large Language Models (LLMs) have emerged as transformative tools in artificial intelligence (AI), exhibiting remarkable capabilities across diverse tasks such as text generation, reasoning, and decision-making. While their success has primarily been driven by advances in computational power and deep learning architectures, emerging problems -- in areas such as uncertainty quantification, decision-making, causal inference, and distribution shift -- require a deeper engagement with the field of statistics. This paper explores potential areas where statisticians can make important contributions to the development of LLMs, particularly those that aim to engender trustworthiness and transparency for human users. Thus, we focus on issues such as uncertainty quantification, interpretability, fairness, privacy, watermarking and model adaptation. We also consider possible roles for LLMs in statistical analysis. By bridging AI and statistics, we aim to foster a deeper collaboration that advances both the theoretical foundations and practical applications of LLMs, ultimately shaping their role in addressing complex societal challenges.