Minimale Entropie-Kopplung mit Engpass

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Autoren: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Zusammenfassung

Dieses Papier untersucht ein neuartiges verlustbehaftetes Kompressionsframework, das unter logarithmischem Verlust arbeitet und entwickelt wurde, um Situationen zu bewältigen, in denen die Rekonstruktionsverteilung von der Ausgangsverteilung abweicht. Dieses Framework ist besonders relevant für Anwendungen, die eine gemeinsame Kompression und Wiederherstellung erfordern, sowie in Szenarien, die aufgrund von Verarbeitungsdifferenzen zu Verteilungsverschiebungen führen. Wir zeigen, dass die vorgeschlagene Formulierung das klassische Minimum-Entropie-Kopplungsframework durch Integration eines Engpasses erweitert, der ein kontrolliertes Maß an Stochastizität in der Kopplung ermöglicht. Wir untersuchen die Zerlegung des Minimum-Entropie-Kopplungs mit Engpass (MEC-B) in zwei separate Optimierungsprobleme: Entropie-begrenzte Informationsmaximierung (EBIM) für den Encoder und Minimum-Entropie-Kopplung (MEC) für den Decoder. Durch umfangreiche Analysen bieten wir einen gierigen Algorithmus für EBIM mit garantierter Leistung und charakterisieren die optimale Lösung in der Nähe funktionaler Abbildungen, was bedeutende theoretische Einblicke in die strukturelle Komplexität dieses Problems liefert. Darüber hinaus veranschaulichen wir die praktische Anwendung von MEC-B durch Experimente in Markov-Codierspielen (MCGs) unter Ratebeschränkungen. Diese Spiele simulieren ein Kommunikationsszenario innerhalb eines Markov-Entscheidungsprozesses, bei dem ein Agent eine komprimierte Nachricht von einem Sender zu einem Empfänger über seine Aktionen übertragen muss. Unsere Experimente verdeutlichen die Abwägungen zwischen MDP-Belohnungen und Empfängergenauigkeit bei verschiedenen Kompressionsraten und zeigen die Wirksamkeit unserer Methode im Vergleich zur konventionellen Kompressions-Baseline.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.