환각은 약물 발견에서 대형 언어 모델의 성능을 향상시킬 수 있습니다.

Hallucinations Can Improve Large Language Models in Drug Discovery

January 23, 2025

저자: Shuzhou Yuan, Michael Färber

cs.AI

초록

연구자들은 대형 언어 모델 (LLMs)에서 환각에 대한 우려를 제기했지만, 창의성이 중요한 약물 발견과 같은 분야에서의 잠재력은 탐구할 가치가 있다. 본 논문에서는 환각이 LLMs의 약물 발견에서 성능을 향상시킬 수 있다는 가설을 제시한다. 이 가설을 확인하기 위해, 우리는 LLMs를 사용하여 분자의 SMILES 문자열을 자연어로 설명하고 이러한 설명을 프롬프트의 일부로 통합하여 약물 발견의 특정 작업을 수행한다. 일곱 개의 LLMs와 다섯 개의 분류 작업에서 평가한 결과, 우리의 연구 결과는 이 가설을 확인한다: 환각을 포함한 텍스트로 LLMs는 더 나은 성능을 달성할 수 있다. 특히, Llama-3.1-8B는 환각이 없는 기준선과 비교하여 ROC-AUC에서 18.35%의 향상을 달성한다. 또한, GPT-4o에 의해 생성된 환각은 모델 전반에서 가장 일관된 향상을 제공한다. 추가로, 성능에 영향을 미치는 주요 요소와 근본적인 이유를 조사하기 위해 경험적 분석과 사례 연구를 실시한다. 우리의 연구는 LLMs에 대한 환각의 잠재적 활용가능성을 밝히고, 약물 발견에서 LLMs를 활용한 미래 연구에 대한 새로운 시각을 제시한다.

English

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.