長いコンテキスト言語モデルを用いたインコンテキスト学習の再検討

Revisiting In-Context Learning with Long Context Language Models

December 22, 2024

著者: Jinheon Baek, Sun Jae Lee, Prakhar Gupta, Geunseob, Oh, Siddharth Dalmia, Prateek Kolhar

cs.AI

要旨

イン・コンテキスト・ラーニング（ICL）は、言語モデルが入力コンテキストに提供された例に基づいて予測を行う技術です。以前は、コンテキストウィンドウのサイズが表示できる例の数に制限を課しており、例の選択技術が重要で、最も効果的な例のセットを特定するために必要でした。しかし、最近登場したロングコンテキスト言語モデル（LCLMs）により、コンテキストに含めることができる例の数が大幅に増加しました。これにより、多数の例を使用する状況におけるICLのパフォーマンスがサンプル選択方法に依存するかどうかという重要な問題が生じました。この問いに答えるために、我々はLCLMsのコンテキストにおいてこれらのアプローチを再検討し、4つのタスクをカバーする18のデータセットで包括的な実験を行いました。驚くべきことに、洗練された例の選択技術は、単純なランダムサンプル選択方法よりも著しい改善をもたらさないことが観察されました。代わりに、LCLMsの登場により、ICLの課題が最も効果的な例を選択することから、コンテキストウィンドウを埋めるために十分な例を収集することへと基本的に変化したことが分かりました。特に、特定のデータセットでは、利用可能なすべての例を含めてもコンテキストウィンドウを十分に活用できないことがあります。しかし、単純なデータ拡張アプローチを用いてコンテキスト内の例を増やすことで、ICLのパフォーマンスを5%向上させることができました。

English

In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.