1568개의 토큰을 단일 벡터로 압축하고 다시 복원하기: 임베딩 공간 용량의 한계 탐구

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

February 18, 2025

저자: Yuri Kuratov, Mikhail Arkhipov, Aydar Bulatov, Mikhail Burtsev

cs.AI

초록

최근 여러 연구에서는 토큰 임베딩이나 키-값 캐시 대신 입력으로 사용될 실수 값 벡터의 짧은 시퀀스로 토큰 시퀀스를 압축하는 문제를 다루고 있습니다. 이러한 접근 방식은 기존 언어 모델에서 필요한 계산량을 줄일 수 있게 합니다. 강력한 모델을 인코더로 사용함에도 불구하고, 달성 가능한 최대 무손실 압축 비율은 일반적으로 x10을 넘지 않습니다. 이는 매우 흥미로운 사실인데, 이론적으로 큰 실수 값 벡터의 최대 정보 용량은 16비트 정밀도와 적당한 벡터 크기에서도 제시된 비율을 훨씬 초과하기 때문입니다. 본 연구에서는 인코더를 샘플별 최적화 절차로 대체하여 압축의 한계를 탐구합니다. 우리는 최대 x1500의 압축 비율을 가진 벡터가 존재함을 보여주며, 이는 기존 솔루션과 실제로 달성 가능한 솔루션 간에 두 자릿수 차이가 있음을 강조합니다. 더 나아가, 압축 한계는 입력의 길이가 아니라 감소시켜야 할 불확실성의 양, 즉 어떠한 조건 없이 이 시퀀스에 대한 교차 엔트로피 손실에 의해 결정된다는 것을 실증적으로 보여줍니다. 얻어진 한계는 입력 임베딩의 이론적 용량과 실제 활용 간에 상당한 격차가 있음을 강조하며, 모델 설계에서 최적화할 수 있는 상당한 여지가 있음을 시사합니다.

English

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.