언어 모델로부터의 대조적 생성

Counterfactual Generation from Language Models

November 11, 2024

저자: Shauli Ravfogel, Anej Svete, Vésteinn Snæbjarnarson, Ryan Cotterell

cs.AI

초록

언어 모델에서 인과 생성 메커니즘을 이해하고 조작하는 것은 그들의 행동을 통제하는 데 중요합니다. 이전 연구는 주로 표현 수술과 같은 기술에 의존해왔습니다. 예를 들어, 모델 제거 또는 특정 개념에 연결된 선형 부분 공간을 조작하는 것과 같은 방법을 사용하여 이러한 모델에 개입했습니다. 개입의 영향을 정확히 이해하기 위해 특정 개입을 따르는 모델에 의해 생성되었을 것으로 예상되는 주어진 문장이 어떻게 나타났을지를 살펴보는 대조사론을 살펴보는 것이 유용합니다. 우리는 대조사고 추론이 펄의 인과적 계층에서 명시된 것처럼 개입과 개념적으로 구별된다는 점을 강조합니다. 이 관찰을 바탕으로 우리는 언어 모델을 일반화된 구조 방정식 모델로 재구성하여 Gumbel-max 트릭을 사용하여 진정한 문자열 대조사고를 생성하기 위한 프레임워크를 제안합니다. 이를 통해 우리는 샘플링 노이즈의 동일한 즉시화로부터 원래 문자열과 그들의 대조사고에 대한 결합 분포를 모델링할 수 있습니다. 우리는 후견 Gumbel 샘플링에 기반한 알고리즘을 개발하여 잠재적인 노이즈 변수를 추론하고 관찰된 문자열의 대조사고를 생성할 수 있습니다. 우리의 실험은 이 방법이 의미 있는 대조사고를 생성하는 반면, 일반적으로 사용되는 개입 기술이 상당한 원치 않는 부작용을 보여준다는 것을 보여줍니다.

English

Understanding and manipulating the causal generation mechanisms in language models is essential for controlling their behavior. Previous work has primarily relied on techniques such as representation surgery -- e.g., model ablations or manipulation of linear subspaces tied to specific concepts -- to intervene on these models. To understand the impact of interventions precisely, it is useful to examine counterfactuals -- e.g., how a given sentence would have appeared had it been generated by the model following a specific intervention. We highlight that counterfactual reasoning is conceptually distinct from interventions, as articulated in Pearl's causal hierarchy. Based on this observation, we propose a framework for generating true string counterfactuals by reformulating language models as Generalized Structural-equation. Models using the Gumbel-max trick. This allows us to model the joint distribution over original strings and their counterfactuals resulting from the same instantiation of the sampling noise. We develop an algorithm based on hindsight Gumbel sampling that allows us to infer the latent noise variables and generate counterfactuals of observed strings. Our experiments demonstrate that the approach produces meaningful counterfactuals while at the same time showing that commonly used intervention techniques have considerable undesired side effects.