상호 강화 효과의 경험적 연구 및 프롬프트를 통한 소수샷 텍스트 분류 작업에서의 응용

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

저자: Chengguang Gan, Tatsunori Mori

cs.AI

초록

상호 강화 효과(Mutual Reinforcement Effect, MRE)는 텍스트 분류 작업에서 단어 수준 및 텍스트 수준 분류 간의 상호 작용적 관계를 조사합니다. 이는 두 분류 수준의 성능이 상호적으로 향상될 수 있다는 주장을 합니다. 그러나 이 메커니즘은 이전 연구에서 충분히 입증되거나 설명되지 않았습니다. 이 간극을 해결하기 위해 우리는 MRE 이론을 관찰하고 입증하기 위해 경험적 실험을 사용합니다. 21개의 MRE 혼합 데이터셋에 대한 우리의 실험에서는 모델 내에 MRE의 존재와 그 영향을 밝혔습니다. 구체적으로, 우리는 fine-tune을 사용한 비교 실험을 실시했습니다. 비교 실험 결과 발견된 결과는 MRE의 존재를 확증합니다. 더 나아가, 우리는 MRE의 적용을 확장하여 텍스트 수준 분류 레이블의 모델 예측을 강화하기 위해 단어 수준 정보를 언어화기로 활용하는 프롬프트 학습에 적용했습니다. 최종 실험에서 F1 점수는 21개의 MRE 혼합 데이터셋 중 18개에서 기준선을 크게 능가하여, 단어 수준 정보가 언어 모델이 텍스트 전체를 이해하는 데 도움이 되는 것을 더욱 확증했습니다.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.