Hallucinaties kunnen grote taalmodellen verbeteren in geneesmiddelenonderzoek.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

Auteurs: Shuzhou Yuan, Michael Färber

cs.AI

Samenvatting

Zorgen over hallucinaties in Grote Taalmodellen (LLM's) zijn geuit door onderzoekers, maar hun potentieel op gebieden waar creativiteit essentieel is, zoals bijvoorbeeld bij medicijnontdekking, rechtvaardigt verder onderzoek. In dit artikel stellen we de hypothese voor dat hallucinaties LLM's kunnen verbeteren bij medicijnontdekking. Om deze hypothese te verifiëren, gebruiken we LLM's om de SMILES-reeks van moleculen in natuurlijke taal te beschrijven en vervolgens nemen we deze beschrijvingen op als onderdeel van de prompt om specifieke taken bij medicijnontdekking aan te pakken. Geëvalueerd op zeven LLM's en vijf classificatietaken, bevestigen onze bevindingen de hypothese: LLM's kunnen betere prestaties behalen met tekst die hallucinaties bevat. Opmerkelijk is dat Llama-3.1-8B een winst van 18.35% behaalt in ROC-AUC in vergelijking met de basislijn zonder hallucinatie. Bovendien bieden hallucinaties gegenereerd door GPT-4o de meest consistente verbeteringen over verschillende modellen. Daarnaast voeren we empirische analyses en een casestudie uit om de belangrijkste factoren die de prestaties beïnvloeden en de onderliggende redenen te onderzoeken. Ons onderzoek belicht het potentieel gebruik van hallucinaties voor LLM's en biedt nieuwe perspectieven voor toekomstig onderzoek waarbij LLM's worden ingezet bij medicijnontdekking.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.