Halluzinationen können große Sprachmodelle in der Arzneimittelforschung verbessern.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Autoren: Shuzhou Yuan, Michael Färber

cs.AI

Zusammenfassung

Bedenken hinsichtlich Halluzinationen in Large Language Models (LLMs) wurden von Forschern geäußert, dennoch verdient ihr Potenzial in Bereichen, in denen Kreativität entscheidend ist, wie beispielsweise die Arzneimittelforschung, eine nähere Betrachtung. In diesem Artikel stellen wir die Hypothese auf, dass Halluzinationen die Leistung von LLMs in der Arzneimittelforschung verbessern können. Zur Überprüfung dieser Hypothese verwenden wir LLMs, um die SMILES-Zeichenfolge von Molekülen in natürlicher Sprache zu beschreiben und integrieren diese Beschreibungen dann als Teil des Eingabereizes, um spezifische Aufgaben in der Arzneimittelforschung anzugehen. Anhand von sieben LLMs und fünf Klassifizierungsaufgaben bestätigen unsere Ergebnisse die Hypothese: LLMs können eine bessere Leistung erzielen, wenn der Text Halluzinationen enthält. Insbesondere erzielt Llama-3.1-8B einen Anstieg von 18,35 % im ROC-AUC im Vergleich zum Ausgangswert ohne Halluzination. Darüber hinaus bieten Halluzinationen, die von GPT-4o erzeugt werden, die konsistentesten Verbesserungen über verschiedene Modelle hinweg. Zusätzlich führen wir empirische Analysen und eine Fallstudie durch, um die Schlüsselfaktoren, die die Leistung beeinflussen, und die zugrunde liegenden Gründe zu untersuchen. Unsere Forschung beleuchtet das potenzielle Einsatzgebiet von Halluzinationen für LLMs und bietet neue Perspektiven für zukünftige Forschung, die LLMs in der Arzneimittelforschung nutzt.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.