Personen, die ChatGPT häufig für Schreibaufgaben nutzen, sind präzise und robuste Detektoren von KI-generiertem Text.

People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text

January 26, 2025

Autoren: Jenna Russell, Marzena Karpinska, Mohit Iyyer

cs.AI

Zusammenfassung

In diesem Paper untersuchen wir, wie gut Menschen Texte erkennen können, die von kommerziellen LLMs (GPT-4o, Claude, o1) generiert wurden. Wir beauftragen Annotatoren, 300 Sachartikel auf Englisch zu lesen, sie entweder als von Menschen geschrieben oder von KI generiert zu kennzeichnen und Abschnittserklärungen für ihre Entscheidungen zu liefern. Unsere Experimente zeigen, dass Annotatoren, die häufig LLMs für Schreibaufgaben verwenden, hervorragend darin sind, KI-generierte Texte zu erkennen, selbst ohne spezielles Training oder Feedback. Tatsächlich klassifiziert die Mehrheitsentscheidung unter fünf solcher "Experten"-Annotatoren nur 1 von 300 Artikeln falsch, was die meisten kommerziellen und Open-Source-Detektoren, die wir bewertet haben, signifikant übertrifft, selbst in Gegenwart von Ausweichmanövern wie Umschreiben und Humanisierung. Die qualitative Analyse der freiformen Erklärungen der Experten zeigt, dass sie zwar stark auf spezifische lexikalische Hinweise ('KI-Vokabular') angewiesen sind, aber auch komplexere Phänomene im Text erfassen (z. B. Formalität, Originalität, Klarheit), die für automatische Detektoren herausfordernd sind. Wir veröffentlichen unseren annotierten Datensatz und Code, um zukünftige Forschung sowohl zur menschlichen als auch zur automatisierten Erkennung von KI-generierten Texten anzustoßen.

English

In this paper, we study how well humans can detect text generated by commercial LLMs (GPT-4o, Claude, o1). We hire annotators to read 300 non-fiction English articles, label them as either human-written or AI-generated, and provide paragraph-length explanations for their decisions. Our experiments show that annotators who frequently use LLMs for writing tasks excel at detecting AI-generated text, even without any specialized training or feedback. In fact, the majority vote among five such "expert" annotators misclassifies only 1 of 300 articles, significantly outperforming most commercial and open-source detectors we evaluated even in the presence of evasion tactics like paraphrasing and humanization. Qualitative analysis of the experts' free-form explanations shows that while they rely heavily on specific lexical clues ('AI vocabulary'), they also pick up on more complex phenomena within the text (e.g., formality, originality, clarity) that are challenging to assess for automatic detectors. We release our annotated dataset and code to spur future research into both human and automated detection of AI-generated text.