TOMG-Bench: Valutazione di LLM su Generazione di Molecole Aperte basata su Testo

TOMG-Bench: Evaluating LLMs on Text-based Open Molecule Generation

December 19, 2024

Autori: Jiatong Li, Junxian Li, Yunqing Liu, Dongzhan Zhou, Qing Li

cs.AI

Abstract

In questo articolo, proponiamo il Text-based Open Molecule Generation Benchmark (TOMG-Bench), il primo benchmark per valutare la capacità di generazione di molecole in un dominio aperto delle LLM. TOMG-Bench include un dataset di tre compiti principali: modifica di molecole (MolEdit), ottimizzazione di molecole (MolOpt) e generazione personalizzata di molecole (MolCustom). Ogni compito contiene ulteriormente tre sotto-compiti, ciascuno con 5.000 campioni di test. Date le complessità intrinseche della generazione di molecole in un dominio aperto, abbiamo inoltre sviluppato un sistema di valutazione automatizzato che aiuta a misurare sia la qualità che l'accuratezza delle molecole generate. Il nostro completo confronto di 25 LLM rivela le attuali limitazioni e le aree potenziali per migliorare la scoperta di molecole guidata dal testo. Inoltre, con l'assistenza di OpenMolIns, un dataset di sintonizzazione delle istruzioni specializzato proposto per risolvere le sfide sollevate da TOMG-Bench, Llama3.1-8B è riuscito a superare tutte le LLM generali open-source, addirittura superando GPT-3.5-turbo del 46,5\% su TOMG-Bench. I nostri codici e dataset sono disponibili su https://github.com/phenixace/TOMG-Bench.

English

In this paper, we propose Text-based Open Molecule Generation Benchmark (TOMG-Bench), the first benchmark to evaluate the open-domain molecule generation capability of LLMs. TOMG-Bench encompasses a dataset of three major tasks: molecule editing (MolEdit), molecule optimization (MolOpt), and customized molecule generation (MolCustom). Each task further contains three subtasks, with each subtask comprising 5,000 test samples. Given the inherent complexity of open molecule generation, we have also developed an automated evaluation system that helps measure both the quality and the accuracy of the generated molecules. Our comprehensive benchmarking of 25 LLMs reveals the current limitations and potential areas for improvement in text-guided molecule discovery. Furthermore, with the assistance of OpenMolIns, a specialized instruction tuning dataset proposed for solving challenges raised by TOMG-Bench, Llama3.1-8B could outperform all the open-source general LLMs, even surpassing GPT-3.5-turbo by 46.5\% on TOMG-Bench. Our codes and datasets are available through https://github.com/phenixace/TOMG-Bench.