Mensen die ChatGPT vaak gebruiken voor schrijftaken zijn nauwkeurige en robuuste detectoren van door AI gegenereerde tekst.

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

January 26, 2025

Auteurs: Jenna Russell, Marzena Karpinska, Mohit Iyyer

cs.AI

Samenvatting

In dit artikel onderzoeken we hoe goed mensen tekst kunnen detecteren die is gegenereerd door commerciële taalmodel-gebaseerde modellen (GPT-4o, Claude, o1). We huren annotators in om 300 Engelstalige non-fictie artikelen te lezen, deze te labelen als door mensen geschreven of door AI gegenereerd, en paragraaf-lange verklaringen te geven voor hun beslissingen. Onze experimenten tonen aan dat annotators die vaak LLMs gebruiken voor schrijftaken uitblinken in het detecteren van door AI gegenereerde tekst, zelfs zonder gespecialiseerde training of feedback. Sterker nog, de meerderheidsstem van vijf van zulke "expert" annotators classificeert slechts 1 van de 300 artikelen verkeerd, aanzienlijk beter presterend dan de meeste commerciële en open-source detectoren die we hebben geëvalueerd, zelfs in aanwezigheid van ontwijkingsstrategieën zoals parafraseren en humanisering. Kwalitatieve analyse van de vrije tekstverklaringen van de experts laat zien dat ze zwaar leunen op specifieke lexiconaanwijzingen ('AI-vocabulaire'), maar ook complexere fenomenen in de tekst oppikken (bijv. formaliteit, originaliteit, duidelijkheid) die uitdagend zijn om te beoordelen voor automatische detectoren. We stellen onze geannoteerde dataset en code beschikbaar om toekomstig onderzoek naar zowel menselijke als geautomatiseerde detectie van door AI gegenereerde tekst te stimuleren.

English

In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.