RuOpinionNE-2024: Estrazione di tuple di opinione da testi di notizie in russo

RuOpinionNE-2024: Extraction of Opinion Tuples from Russian News Texts

April 9, 2025

Autori: Natalia Loukachevitch, Natalia Tkachenko, Anna Lapanitsyna, Mikhail Tikhomirov, Nicolay Rusnachenko

cs.AI

Abstract

In questo articolo, presentiamo il task condiviso di Dialogue Evaluation sull'estrazione di opinioni strutturate da testi di notizie in russo. L'obiettivo del concorso è estrarre tuple di opinioni per una data frase; le tuple sono composte da un detentore del sentimento, il suo obiettivo, un'espressione e il sentimento dal detentore verso l'obiettivo. In totale, il task ha ricevuto più di 100 contributi. I partecipanti hanno sperimentato principalmente con modelli linguistici di grandi dimensioni in formati zero-shot, few-shot e fine-tuning. Il miglior risultato sul set di test è stato ottenuto con il fine-tuning di un modello linguistico di grandi dimensioni. Abbiamo anche confrontato 30 prompt e 11 modelli linguistici open source con 3-32 miliardi di parametri nelle configurazioni 1-shot e 10-shot, identificando i migliori modelli e prompt.

English

In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.