커플드 아담을 활용한 더 나은 임베딩

Better Embeddings with Coupled Adam

February 12, 2025

저자: Felix Stollenwerk, Tobias Stollenwerk

cs.AI

초록

LLM은 놀라운 능력을 가지고 있지만, 이들은 이해하기 어려운 특징인 이방성을 나타내는 단어 표현을 학습합니다. 본 논문에서는 Adam의 두 번째 모멘트가 이방성 임베딩의 원인이라고 주장하고, 문제를 완화하기 위해 Coupled Adam이라는 수정된 옵티마이저를 제안합니다. 실험 결과, Coupled Adam이 임베딩의 품질을 크게 향상시키는 것을 보여주며, 충분히 큰 데이터셋에서 상류 및 하류 성능도 향상시킵니다.

English

Despite their remarkable capabilities, LLMs learn word representations that exhibit the undesirable yet poorly understood feature of anisotropy. In this paper, we argue that the second moment in Adam is a cause of anisotropic embeddings, and suggest a modified optimizer called Coupled Adam to mitigate the problem. Our experiments demonstrate that Coupled Adam significantly improves the quality of embeddings, while also leading to better upstream and downstream performance on large enough datasets.