병목 현상과 함께 최소 엔트로피 결합

Minimum Entropy Coupling with Bottleneck

October 29, 2024

저자: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

초록

본 논문은 로그 손실 하에서 작동하는 새로운 손실 압축 프레임워크를 조사하며, 재구성 분포가 원본 분포와 다른 상황을 다루도록 설계되었습니다. 이 프레임워크는 특히 합성 압축 및 검색이 필요한 응용 프로그램 및 처리로 인한 분포 이동이 포함된 시나리오에 적합합니다. 우리는 제안된 공식이 병목 현상을 통합하여 최소 엔트로피 결합 프레임워크를 확장하며, 결합에서 제어된 확률성 정도를 허용하는 것을 보여줍니다. 우리는 최소 엔트로피 결합과 병목 (MEC-B)을 두 가지 다른 최적화 문제로 분해하는 것을 탐구합니다: 인코더를 위한 엔트로피 제한 정보 최대화 (EBIM) 및 디코더를 위한 최소 엔트로피 결합 (MEC). 철저한 분석을 통해, 우리는 성능을 보장하는 EBIM을 위한 탐욕 알고리즘을 제시하고, 기능적 매핑 근처의 최적 솔루션을 특성화하여 이 문제의 구조적 복잡성에 대한 중요한 이론적 통찰을 제공합니다. 더 나아가, 우리는 MEC-B의 실용적인 응용을 마르코프 부호화 게임 (MCGs) 실험을 통해 설명합니다. 이 게임은 마르코프 의사 결정 과정 내에서 통신 시나리오를 시뮬레이션하며, 에이전트가 발신자로부터 수신자로 압축된 메시지를 전송해야 하는 상황을 보여줍니다. 우리의 실험은 다양한 압축률에서 MDP 보상과 수신자 정확도 간의 트레이드오프를 강조하며, 우리의 방법이 전통적인 압축 기준과 비교하여 효과적임을 보여줍니다.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.