Revisitando a Aprendizagem em Contexto com Modelos de Linguagem de Longo Contexto

Revisiting In-Context Learning with Long Context Language Models

December 22, 2024

Autores: Jinheon Baek, Sun Jae Lee, Prakhar Gupta, Geunseob, Oh, Siddharth Dalmia, Prateek Kolhar

cs.AI

Resumo

A Aprendizagem em Contexto (ICL) é uma técnica pela qual os modelos de linguagem fazem previsões com base nos exemplos fornecidos em seu contexto de entrada. Anteriormente, o tamanho da janela de contexto impunha um limite ao número de exemplos que podiam ser mostrados, tornando as técnicas de seleção de exemplos cruciais para identificar o conjunto de exemplos mais eficaz. No entanto, o recente surgimento dos Modelos de Linguagem de Longo Contexto (LCLMs) aumentou significativamente o número de exemplos que podem ser incluídos no contexto, levantando uma questão importante sobre se o desempenho do ICL em um regime de muitos exemplos ainda é sensível ao método de seleção de amostras. Para responder a isso, revisitamos essas abordagens no contexto dos LCLMs por meio de experimentos extensivos em 18 conjuntos de dados abrangendo 4 tarefas. Surpreendentemente, observamos que técnicas sofisticadas de seleção de exemplos não resultam em melhorias significativas em relação a um método simples de seleção de amostras aleatórias. Em vez disso, descobrimos que o surgimento dos LCLMs mudou fundamentalmente o desafio do ICL de selecionar os exemplos mais eficazes para coletar exemplos suficientes para preencher a janela de contexto. Especificamente, em certos conjuntos de dados, incluir todos os exemplos disponíveis não utiliza totalmente a janela de contexto; no entanto, ao aumentar os exemplos em contexto com uma abordagem simples de aumento de dados, melhoramos substancialmente o desempenho do ICL em 5%.

English

In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.