MLP-KAN: 심층 표현과 함수 학습의 통합

MLP-KAN: Unifying Deep Representation and Function Learning

October 3, 2024

저자: Yunhong He, Yifeng Xie, Zhengqing Yuan, Lichao Sun

cs.AI

초록

최근 표현 학습과 함수 학습의 발전은 인공지능의 다양한 영역에서 상당한 가능성을 입증했습니다. 그러나 이러한 패러다임을 효과적으로 통합하는 것은 중요한 도전이 됩니다. 특히 사용자가 데이터셋 특성을 기반으로 표현 학습 또는 함수 학습 모델을 수동으로 결정해야 하는 경우에는 더욱 그렇습니다. 이 문제를 해결하기 위해, 우리는 수동 모델 선택이 필요 없는 통합 방법인 MLP-KAN을 소개합니다. 다층 퍼셉트론(MLPs)을 통한 표현 학습과 콜모고로프-아놀드 네트워크(KANs)를 통한 함수 학습을 전문가 집합(MoE) 아키텍처 내에서 통합함으로써, MLP-KAN은 주어진 작업의 특성에 동적으로 적응하여 최적의 성능을 보장합니다. 트랜스포머 기반 프레임워크에 내장된 이 연구는 다양한 영역의 네 개의 널리 사용되는 데이터셋에서 놀라운 결과를 달성했습니다. 광범위한 실험 평가는 MLP-KAN의 우수한 다재다능성을 입증하며, 깊은 표현 학습과 함수 학습 작업 모두에서 경쟁력 있는 성과를 제공합니다. 이 연구 결과는 MLP-KAN의 모델 선택 프로세스를 간소화하고 다양한 영역에서 포괄적이고 적응 가능한 솔루션을 제공하는 잠재력을 강조합니다. 우리의 코드와 가중치는 https://github.com/DLYuanGod/MLP-KAN에서 사용할 수 있습니다.

English

Recent advancements in both representation learning and function learning have demonstrated substantial promise across diverse domains of artificial intelligence. However, the effective integration of these paradigms poses a significant challenge, particularly in cases where users must manually decide whether to apply a representation learning or function learning model based on dataset characteristics. To address this issue, we introduce MLP-KAN, a unified method designed to eliminate the need for manual model selection. By integrating Multi-Layer Perceptrons (MLPs) for representation learning and Kolmogorov-Arnold Networks (KANs) for function learning within a Mixture-of-Experts (MoE) architecture, MLP-KAN dynamically adapts to the specific characteristics of the task at hand, ensuring optimal performance. Embedded within a transformer-based framework, our work achieves remarkable results on four widely-used datasets across diverse domains. Extensive experimental evaluation demonstrates its superior versatility, delivering competitive performance across both deep representation and function learning tasks. These findings highlight the potential of MLP-KAN to simplify the model selection process, offering a comprehensive, adaptable solution across various domains. Our code and weights are available at https://github.com/DLYuanGod/MLP-KAN.