MolSpectra: Предварительное обучение 3D-молекулярных представлений с использованием мультимодальных энергетических спектров

MolSpectra: Pre-training 3D Molecular Representation with Multi-modal Energy Spectra

February 22, 2025

Авторы: Liang Wang, Shaozhen Liu, Yu Rong, Deli Zhao, Qiang Liu, Shu Wu, Liang Wang

cs.AI

Аннотация

Установление взаимосвязи между трехмерными структурами и энергетическими состояниями молекулярных систем оказалось перспективным подходом для обучения трехмерным молекулярным представлениям. Однако существующие методы ограничиваются моделированием энергетических состояний молекул в рамках классической механики. Это ограничение приводит к значительному упущению квантовомеханических эффектов, таких как квантованные (дискретные) энергетические уровни, которые позволяют более точно оценивать энергию молекул и могут быть экспериментально измерены с помощью энергетических спектров. В данной работе мы предлагаем использовать энергетические спектры для улучшения предварительного обучения трехмерных молекулярных представлений (MolSpectra), тем самым интегрируя знания квантовой механики в молекулярные представления. В частности, мы предлагаем SpecFormer — мультиспектральный кодировщик для кодирования молекулярных спектров с использованием маскированного восстановления патчей. Дополнительно выравнивая выходы трехмерного кодировщика и спектрального кодировщика с помощью контрастивной функции, мы улучшаем понимание трехмерным кодировщиком молекул. Оценки на публичных бенчмарках показывают, что наши предварительно обученные представления превосходят существующие методы в предсказании молекулярных свойств и моделировании динамики.

English

Establishing the relationship between 3D structures and the energy states of molecular systems has proven to be a promising approach for learning 3D molecular representations. However, existing methods are limited to modeling the molecular energy states from classical mechanics. This limitation results in a significant oversight of quantum mechanical effects, such as quantized (discrete) energy level structures, which offer a more accurate estimation of molecular energy and can be experimentally measured through energy spectra. In this paper, we propose to utilize the energy spectra to enhance the pre-training of 3D molecular representations (MolSpectra), thereby infusing the knowledge of quantum mechanics into the molecular representations. Specifically, we propose SpecFormer, a multi-spectrum encoder for encoding molecular spectra via masked patch reconstruction. By further aligning outputs from the 3D encoder and spectrum encoder using a contrastive objective, we enhance the 3D encoder's understanding of molecules. Evaluations on public benchmarks reveal that our pre-trained representations surpass existing methods in predicting molecular properties and modeling dynamics.