PIG: 물리 정보가 포함된 가우시안을 적응적 매개변수 메쉬 표현으로 사용

초록

신경망을 사용한 편미분 방정식(PDEs)의 근사화는 물리 정보가 포함된 신경망(PINNs)을 통해 상당한 발전을 이루었습니다. PINNs는 직관적인 최적화 구조와 다양한 PDE 구현의 유연성에도 불구하고, Multi-Layer Perceptrons(MLPs)의 스펙트럼 편향으로 인해 제한된 정확도를 보이는 경우가 많습니다. MLPs는 고주파 및 비선형 요소를 효과적으로 학습하기 어렵기 때문입니다. 최근에는 신경망과 결합된 매개변수 메시 표현이 신경망의 귀납적 편향을 제거하는 유망한 접근 방식으로 조사되었습니다. 그러나 이러한 방법들은 종종 고해상도 그리드와 많은 콜로케이션 포인트가 필요하여 과적합 문제를 피하면서 높은 정확도를 달성하는 데 어려움을 겪습니다. 또한 메시 매개변수의 고정된 위치는 그들의 유연성을 제한하여 복잡한 PDEs를 정확하게 근사화하는 데 어려움을 겪게 합니다. 이러한 한계를 극복하기 위해 우리는 가우시안 함수를 사용한 특징 임베딩과 가벼운 신경망을 결합한 물리 정보가 포함된 가우시안(PIGs)을 제안합니다. 우리의 방법은 각 가우시안의 평균과 분산에 대한 학습 가능한 매개변수를 사용하여 훈련 중에 그들의 위치와 모양을 동적으로 조정할 수 있게 합니다. 이러한 적응성은 모델이 고정된 매개변수 위치를 가진 모델과 달리 PDE 솔루션을 최적으로 근사화할 수 있도록 합니다. 더 나아가, 제안된 방법은 PINNs에서 사용된 최적화 구조를 유지하여 그들의 우수한 특성을 활용할 수 있게 합니다. 실험 결과는 다양한 PDEs에서 우리 모델의 경쟁력 있는 성능을 보여주며, 복잡한 PDEs를 해결하는 강력한 도구로서의 잠재력을 입증합니다. 저희 프로젝트 페이지는 https://namgyukang.github.io/Physics-Informed-Gaussians/에서 확인하실 수 있습니다.

English

The approximation of Partial Differential Equations (PDEs) using neural networks has seen significant advancements through Physics-Informed Neural Networks (PINNs). Despite their straightforward optimization framework and flexibility in implementing various PDEs, PINNs often suffer from limited accuracy due to the spectral bias of Multi-Layer Perceptrons (MLPs), which struggle to effectively learn high-frequency and non-linear components. Recently, parametric mesh representations in combination with neural networks have been investigated as a promising approach to eliminate the inductive biases of neural networks. However, they usually require very high-resolution grids and a large number of collocation points to achieve high accuracy while avoiding overfitting issues. In addition, the fixed positions of the mesh parameters restrict their flexibility, making it challenging to accurately approximate complex PDEs. To overcome these limitations, we propose Physics-Informed Gaussians (PIGs), which combine feature embeddings using Gaussian functions with a lightweight neural network. Our approach uses trainable parameters for the mean and variance of each Gaussian, allowing for dynamic adjustment of their positions and shapes during training. This adaptability enables our model to optimally approximate PDE solutions, unlike models with fixed parameter positions. Furthermore, the proposed approach maintains the same optimization framework used in PINNs, allowing us to benefit from their excellent properties. Experimental results show the competitive performance of our model across various PDEs, demonstrating its potential as a robust tool for solving complex PDEs. Our project page is available at https://namgyukang.github.io/Physics-Informed-Gaussians/

PIG: 물리 정보가 포함된 가우시안을 적응적 매개변수 메쉬 표현으로 사용

PIG: Physics-Informed Gaussians as Adaptive Parametric Mesh Representations

초록

Support