Empirisch onderzoek naar het wederzijdse versterkingseffect en toepassing ervan bij weinig-schot tekstclassificatietaken via prompts.

Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt

October 13, 2024

Auteurs: Chengguang Gan, Tatsunori Mori

cs.AI

Samenvatting

Het Mutual Reinforcement Effect (MRE) onderzoekt de synergetische relatie tussen classificaties op woordniveau en tekstniveau bij tekstclassificatietaken. Het stelt dat de prestaties van beide classificatieniveaus elkaar wederzijds kunnen versterken. Deze mechanisme is echter nog niet voldoende aangetoond of uitgelegd in eerdere onderzoeken. Om deze lacune aan te pakken, voeren we empirische experimenten uit om de MRE-theorie te observeren en te onderbouwen. Onze experimenten met 21 MRE-mixdatasets onthulden de aanwezigheid van MRE in het model en de impact ervan. Specifiek hebben we vergelijkende experimenten uitgevoerd met fine-tuning. De resultaten van de bevindingen uit de vergelijkende experimenten bevestigen het bestaan van MRE. Bovendien hebben we de toepassing van MRE uitgebreid naar prompt learning, waarbij informatie op woordniveau wordt gebruikt als versterker om de voorspelling van tekstniveau classificatielabels van het model te verbeteren. In ons laatste experiment overtrof de F1-score significant de baseline in 18 van de 21 MRE-mixdatasets, wat de notie verder bevestigt dat informatie op woordniveau het begrip van het taalmodel van de tekst als geheel verbetert.

English

The Mutual Reinforcement Effect (MRE) investigates the synergistic relationship between word-level and text-level classifications in text classification tasks. It posits that the performance of both classification levels can be mutually enhanced. However, this mechanism has not been adequately demonstrated or explained in prior research. To address this gap, we employ empirical experiment to observe and substantiate the MRE theory. Our experiments on 21 MRE mix datasets revealed the presence of MRE in the model and its impact. Specifically, we conducted compare experiments use fine-tune. The results of findings from comparison experiments corroborates the existence of MRE. Furthermore, we extended the application of MRE to prompt learning, utilizing word-level information as a verbalizer to bolster the model's prediction of text-level classification labels. In our final experiment, the F1-score significantly surpassed the baseline in 18 out of 21 MRE Mix datasets, further validating the notion that word-level information enhances the language model's comprehension of the text as a whole.