Rilevamento robusto e granulare di testi generati dall'intelligenza artificiale

Robust and Fine-Grained Detection of AI Generated Texts

April 16, 2025

Autori: Ram Mohan Rao Kadiyala, Siddartha Pullakhandam, Kanwal Mehreen, Drishti Sharma, Siddhant Gupta, Jebish Purbey, Ashay Srivastava, Subhasya TippaReddy, Arvind Reddy Bobbili, Suraj Telugara Chandrashekhar, Modabbir Adeeb, Srinadh Vura, Hamza Farooq

cs.AI

Abstract

Un sistema di rilevazione ideale per i contenuti generati da macchine dovrebbe funzionare efficacemente con qualsiasi generatore, dato che modelli linguistici avanzati (LLM) sempre più sofisticati vengono sviluppati quotidianamente. I sistemi esistenti spesso incontrano difficoltà nell'identificare con precisione i contenuti generati da IA, specialmente nei testi più brevi. Inoltre, non tutti i testi potrebbero essere interamente scritti da un essere umano o da un LLM, pertanto ci siamo concentrati maggiormente sui casi parziali, ovvero testi co-autorizzati da umani e LLM. Il nostro articolo introduce una serie di modelli progettati per il compito di classificazione a livello di token, addestrati su un'ampia raccolta di testi co-autorizzati da umani e macchine, che hanno dimostrato buone prestazioni su testi di domini non visti, generatori non visti, testi di parlanti non nativi e quelli con input avversari. Introduciamo inoltre un nuovo dataset composto da oltre 2,4 milioni di tali testi, per lo più co-autorizzati da diversi LLM proprietari popolari in 23 lingue. Presentiamo anche i risultati delle prestazioni dei nostri modelli su testi di ciascun dominio e generatore. Ulteriori risultati includono il confronto delle prestazioni rispetto a ciascun metodo avversario, la lunghezza dei testi di input e le caratteristiche dei testi generati rispetto ai testi originali scritti da esseri umani.

English

An ideal detection system for machine generated content is supposed to work well on any generator as many more advanced LLMs come into existence day by day. Existing systems often struggle with accurately identifying AI-generated content over shorter texts. Further, not all texts might be entirely authored by a human or LLM, hence we focused more over partial cases i.e human-LLM co-authored texts. Our paper introduces a set of models built for the task of token classification which are trained on an extensive collection of human-machine co-authored texts, which performed well over texts of unseen domains, unseen generators, texts by non-native speakers and those with adversarial inputs. We also introduce a new dataset of over 2.4M such texts mostly co-authored by several popular proprietary LLMs over 23 languages. We also present findings of our models' performance over each texts of each domain and generator. Additional findings include comparison of performance against each adversarial method, length of input texts and characteristics of generated texts compared to the original human authored texts.