話すべき時、控えるべき時：控え付きの対照的デコーディング

When to Speak, When to Abstain: Contrastive Decoding with Abstention

December 17, 2024

著者: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim

cs.AI

要旨

大規模言語モデル（LLMs）は、事前学習された知識（つまり、パラメトリック知識）と外部知識（つまり、文脈知識）の両方を活用することで、さまざまなタスクで優れたパフォーマンスを示しています。これまでに、両方の形式の知識を活用するための多大な努力がなされてきましたが、モデルが関連する知識を持たない状況については未だに探求されていません。このような制限は、幻覚などの問題を引き起こし、高リスクなアプリケーションにおいて信頼性が低下し、潜在的なリスクを引き起こす可能性があります。このような制限に対処するために、本論文では、ユーザーのリクエストが関連する知識の不足のために達成できない場合を含むタスク範囲を拡大します。このために、私たちは、教師なし学習のデコーディング手法である対照的デコーディングと棄却（CDA）を導入します。これにより、LLMsは関連する知識が利用可能な場合に応答を生成し、それ以外の場合には棄却することができます。CDAは、与えられたクエリに対する各知識の関連性を評価し、どの知識を優先すべきか、完全に無視すべきかを適応的に決定します。3つの質問応答データセットで4つのLLMsを用いた包括的な実験により、CDAが正確な生成と棄却を同時に効果的に行うことが示されました。これらの結果は、CDAのLLMsの適用範囲を広げ、信頼性を向上させ、ユーザーの信頼を維持する潜在能力を示しています。

English

Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging both pre-trained knowledge (i.e., parametric knowledge) and external knowledge (i.e., contextual knowledge). While substantial efforts have been made to leverage both forms of knowledge, scenarios in which the model lacks any relevant knowledge remain underexplored. Such limitations can result in issues like hallucination, causing reduced reliability and potential risks in high-stakes applications. To address such limitations, this paper extends the task scope to encompass cases where the user's request cannot be fulfilled due to the lack of relevant knowledge. To this end, we introduce Contrastive Decoding with Abstention (CDA), a training-free decoding method that empowers LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA evaluates the relevance of each knowledge for a given query, adaptively determining which knowledge to prioritize or which to completely ignore. Extensive experiments with four LLMs on three question-answering datasets demonstrate that CDA can effectively perform accurate generation and abstention simultaneously. These findings highlight CDA's potential to broaden the applicability of LLMs, enhancing reliability and preserving user trust.