Minimale Entropie Koppeling met Flessenhals

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Auteurs: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Samenvatting

Dit artikel onderzoekt een nieuw verliesgevend compressiekader dat werkt onder logaritmisch verlies, ontworpen om situaties aan te pakken waarbij de reconstructiedistributie afwijkt van de brondistributie. Dit kader is vooral relevant voor toepassingen die gezamenlijke compressie en ophaling vereisen, en in scenario's die te maken hebben met distributieverschuivingen als gevolg van verwerking. We tonen aan dat de voorgestelde formulering het klassieke minimum-entropiekoppelingskader uitbreidt door een bottleneck te integreren, waardoor een gecontroleerde mate van stochasticiteit in de koppeling mogelijk is. We onderzoeken de decompositie van het Minimum Entropy Coupling with Bottleneck (MEC-B) in twee afzonderlijke optimalisatieproblemen: Entropy-Bounded Information Maximization (EBIM) voor de encoder, en Minimum Entropy Coupling (MEC) voor de decoder. Via uitgebreide analyse bieden we een gulzig algoritme voor EBIM met gegarandeerde prestaties, en karakteriseren we de optimale oplossing bij functionele mappings, wat aanzienlijke theoretische inzichten oplevert in de structurele complexiteit van dit probleem. Bovendien illustreren we de praktische toepassing van MEC-B door experimenten in Markov Coding Games (MCG's) onder snelheidslimieten. Deze spellen simuleren een communicatiescenario binnen een Markov-beslissingsproces, waarbij een agent een gecomprimeerd bericht van een zender naar een ontvanger moet verzenden via zijn acties. Onze experimenten belichten de afwegingen tussen MDP-beloningen en ontvanger-nauwkeurigheid bij verschillende compressiesnelheden, waarbij de doeltreffendheid van onze methode wordt aangetoond in vergelijking met de conventionele compressie-baseline.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.