Quando Falar, Quando Abster-se: Decodificação Contrastiva com Abstenção

When to Speak, When to Abstain: Contrastive Decoding with Abstention

December 17, 2024

Autores: Hyuhng Joon Kim, Youna Kim, Sang-goo Lee, Taeuk Kim

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) demonstram um desempenho excepcional em diversas tarefas ao aproveitar tanto o conhecimento pré-treinado (ou seja, conhecimento paramétrico) quanto o conhecimento externo (ou seja, conhecimento contextual). Embora tenham sido feitos esforços substanciais para aproveitar ambas as formas de conhecimento, cenários nos quais o modelo carece de conhecimento relevante ainda são pouco explorados. Essas limitações podem resultar em problemas como alucinação, causando redução na confiabilidade e potenciais riscos em aplicações de alto risco. Para lidar com tais limitações, este artigo amplia o escopo da tarefa para abranger casos em que a solicitação do usuário não pode ser atendida devido à falta de conhecimento relevante. Para isso, introduzimos o Decodificação Constrastiva com Abstenção (CDA), um método de decodificação sem treinamento que capacita os LLMs a gerar respostas quando o conhecimento relevante está disponível e a abster-se caso contrário. O CDA avalia a relevância de cada conhecimento para uma determinada consulta, determinando de forma adaptativa qual conhecimento priorizar ou qual ignorar completamente. Experimentos extensivos com quatro LLMs em três conjuntos de dados de perguntas e respostas demonstram que o CDA pode realizar de forma eficaz a geração precisa e a abstenção simultaneamente. Essas descobertas destacam o potencial do CDA para ampliar a aplicabilidade dos LLMs, melhorando a confiabilidade e preservando a confiança do usuário.

English

Large Language Models (LLMs) demonstrate exceptional performance across diverse tasks by leveraging both pre-trained knowledge (i.e., parametric knowledge) and external knowledge (i.e., contextual knowledge). While substantial efforts have been made to leverage both forms of knowledge, scenarios in which the model lacks any relevant knowledge remain underexplored. Such limitations can result in issues like hallucination, causing reduced reliability and potential risks in high-stakes applications. To address such limitations, this paper extends the task scope to encompass cases where the user's request cannot be fulfilled due to the lack of relevant knowledge. To this end, we introduce Contrastive Decoding with Abstention (CDA), a training-free decoding method that empowers LLMs to generate responses when relevant knowledge is available and to abstain otherwise. CDA evaluates the relevance of each knowledge for a given query, adaptively determining which knowledge to prioritize or which to completely ignore. Extensive experiments with four LLMs on three question-answering datasets demonstrate that CDA can effectively perform accurate generation and abstention simultaneously. These findings highlight CDA's potential to broaden the applicability of LLMs, enhancing reliability and preserving user trust.