Mais Inteligente, Melhor, Mais Rápido, Mais Longo: Um Codificador Bidirecional Moderno para Ajuste Fino e Inferência Rápidos, Eficientes em Memória e com Contexto Longo

Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

December 18, 2024

Autores: Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, Iacopo Poli

cs.AI

Resumo

Modelos de transformer apenas com codificador, como o BERT, oferecem uma ótima relação entre desempenho e tamanho para tarefas de recuperação e classificação em comparação com modelos apenas com decodificador maiores. Apesar de ser o principal trabalho de inúmeros pipelines de produção, houve melhorias de Pareto limitadas no BERT desde o seu lançamento. Neste artigo, apresentamos o ModernBERT, trazendo otimizações de modelo modernas para modelos apenas com codificador e representando uma melhoria de Pareto significativa em relação a codificadores mais antigos. Treinados em 2 trilhões de tokens com um comprimento de sequência nativo de 8192, os modelos ModernBERT apresentam resultados de ponta em uma ampla gama de avaliações que abrangem diversas tarefas de classificação e recuperação de vetores únicos e múltiplos em diferentes domínios (incluindo código). Além do forte desempenho downstream, o ModernBERT também é o codificador mais eficiente em termos de velocidade e memória, sendo projetado para inferência em GPUs comuns.

English

Encoder-only transformer models such as BERT offer a great performance-size tradeoff for retrieval and classification tasks with respect to larger decoder-only models. Despite being the workhorse of numerous production pipelines, there have been limited Pareto improvements to BERT since its release. In this paper, we introduce ModernBERT, bringing modern model optimizations to encoder-only models and representing a major Pareto improvement over older encoders. Trained on 2 trillion tokens with a native 8192 sequence length, ModernBERT models exhibit state-of-the-art results on a large pool of evaluations encompassing diverse classification tasks and both single and multi-vector retrieval on different domains (including code). In addition to strong downstream performance, ModernBERT is also the most speed and memory efficient encoder and is designed for inference on common GPUs.