Fourier Kolmogorov-Arnold 네트워크를 사용한 암묵적 신경 표현

Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks

September 14, 2024

저자: Ali Mehrabian, Parsa Mojarad Adi, Moein Heidari, Ilker Hacihaliloglu

cs.AI

초록

암묵적 신경 표현 (INRs)은 신경망을 사용하여 소수의 매개변수로 복잡한 신호의 연속적이고 해상도에 독립적인 표현을 제공합니다. 그러나 기존의 INR 모델은 각 작업에 특정한 중요한 주파수 구성 요소를 캡처하는 데 종종 실패합니다. 이 문제를 해결하기 위해 본 논문에서는 INRs를 위한 Fourier Kolmogorov Arnold 네트워크 (FKAN)를 제안합니다. 제안된 FKAN은 첫 번째 레이어에서 푸리에 급수로 모델링된 학습 가능한 활성화 함수를 활용하여 효과적으로 제어하고 작업별 주파수 구성 요소를 학습합니다. 또한, 학습 가능한 푸리에 계수를 가진 활성화 함수는 네트워크가 복잡한 패턴과 세부 사항을 캡처하는 능력을 향상시키며, 고해상도 및 고차원 데이터에 유용합니다. 실험 결과는 우리가 제안한 FKAN 모델이 세 가지 최첨단 기준 스키마를 능가하며, 이미지 표현 작업에 대한 최대 신호 대 잡음 비율 (PSNR) 및 구조 유사성 지수 측정 (SSIM) 그리고 3D 점유 체적 표현 작업에 대한 교차 연합 (IoU)을 향상시킨다는 것을 보여줍니다.

English

Implicit neural representations (INRs) use neural networks to provide continuous and resolution-independent representations of complex signals with a small number of parameters. However, existing INR models often fail to capture important frequency components specific to each task. To address this issue, in this paper, we propose a Fourier Kolmogorov Arnold network (FKAN) for INRs. The proposed FKAN utilizes learnable activation functions modeled as Fourier series in the first layer to effectively control and learn the task-specific frequency components. In addition, the activation functions with learnable Fourier coefficients improve the ability of the network to capture complex patterns and details, which is beneficial for high-resolution and high-dimensional data. Experimental results show that our proposed FKAN model outperforms three state-of-the-art baseline schemes, and improves the peak signal-to-noise ratio (PSNR) and structural similarity index measure (SSIM) for the image representation task and intersection over union (IoU) for the 3D occupancy volume representation task, respectively.