PIG: Gaussiani Informati dalla Fisica come Rappresentazioni a Maglie Parametriche Adattive

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

December 8, 2024

Autori: Namgyu Kang, Jaemin Oh, Youngjoon Hong, Eunbyung Park

cs.AI

Abstract

L'approssimazione delle Equazioni Differenziali Parziali (PDE) utilizzando reti neurali ha visto significativi progressi attraverso le Reti Neurali Informed by Physics (PINNs). Nonostante il loro diretto framework di ottimizzazione e la flessibilità nell'implementare varie PDE, le PINNs spesso soffrono di limitata precisione a causa del bias spettrale dei Multi-Layer Perceptrons (MLPs), che faticano ad apprendere efficacemente componenti ad alta frequenza e non lineari. Recentemente, le rappresentazioni parametriche a maglia in combinazione con reti neurali sono state esaminate come un approccio promettente per eliminare i bias induttivi delle reti neurali. Tuttavia, solitamente richiedono griglie ad alta risoluzione e un gran numero di punti di collocamento per raggiungere elevata precisione evitando problemi di overfitting. Inoltre, le posizioni fisse dei parametri della maglia limitano la loro flessibilità, rendendo difficile l'approssimazione accurata di PDE complesse. Per superare tali limitazioni, proponiamo i Gaussiani Informed by Physics (PIGs), che combinano embedding di caratteristiche utilizzando funzioni gaussiane con una leggera rete neurale. Il nostro approccio utilizza parametri addestrabili per la media e la varianza di ciascun Gaussiano, consentendo un aggiustamento dinamico delle loro posizioni e forme durante l'addestramento. Questa adattabilità permette al nostro modello di approssimare ottimamente le soluzioni delle PDE, a differenza dei modelli con posizioni di parametri fisse. Inoltre, l'approccio proposto mantiene lo stesso framework di ottimizzazione utilizzato nelle PINNs, consentendoci di beneficiare delle loro eccellenti proprietà. I risultati sperimentali mostrano le prestazioni competitive del nostro modello su varie PDE, dimostrandone il potenziale come strumento robusto per risolvere PDE complesse. La pagina del nostro progetto è disponibile su https://namgyukang.github.io/Physics-Informed-Gaussians/

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/