Couplage de l'entropie minimale avec un goulot d'étranglement

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Auteurs: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Résumé

Cet article explore un nouveau cadre de compression avec perte fonctionnant sous une perte logarithmique, conçu pour gérer les situations où la distribution de reconstruction diverge de la distribution source. Ce cadre est particulièrement pertinent pour les applications nécessitant une compression et une récupération conjointes, et dans les scénarios impliquant des changements distributionnels dus au traitement. Nous montrons que la formulation proposée étend le cadre classique de couplage d'entropie minimale en intégrant un goulot d'étranglement, permettant un degré contrôlé de stochasticité dans le couplage. Nous explorons la décomposition du Couplage d'Entropie Minimale avec Goulot d'Étranglement (MEC-B) en deux problèmes d'optimisation distincts : la Maximisation de l'Information Bornée par l'Entropie (EBIM) pour l'encodeur, et le Couplage d'Entropie Minimale (MEC) pour le décodeur. À travers une analyse approfondie, nous proposons un algorithme glouton pour l'EBIM avec des performances garanties, et caractérisons la solution optimale près des mappings fonctionnels, offrant des insights théoriques significatifs sur la complexité structurelle de ce problème. De plus, nous illustrons l'application pratique du MEC-B à travers des expériences dans les Jeux de Codage Markoviens (MCG) sous contraintes de taux. Ces jeux simulent un scénario de communication au sein d'un Processus de Décision Markovien, où un agent doit transmettre un message compressé d'un émetteur à un récepteur à travers ses actions. Nos expériences mettent en évidence les compromis entre les récompenses du MDP et la précision du récepteur à travers divers taux de compression, démontrant l'efficacité de notre méthode par rapport à la ligne de base de compression conventionnelle.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.