Accoppiamento a entropia minima con bottleneck

Minimum Entropy Coupling with Bottleneck

October 29, 2024

Autori: M. Reza Ebrahimi, Jun Chen, Ashish Khisti

cs.AI

Abstract

Questo articolo investiga un nuovo framework di compressione lossy che opera con una perdita logaritmica, progettato per gestire situazioni in cui la distribuzione di ricostruzione si discosta dalla distribuzione di origine. Questo framework è particolarmente rilevante per applicazioni che richiedono una compressione e un recupero congiunti e in scenari che coinvolgono spostamenti distribuzionali dovuti al processo. Dimostriamo che la formulazione proposta estende il classico framework di accoppiamento di entropia minima integrando un bottleneck, consentendo un grado controllato di stocasticità nell'accoppiamento. Esploriamo la decomposizione del Minimum Entropy Coupling with Bottleneck (MEC-B) in due distinti problemi di ottimizzazione: Entropy-Bounded Information Maximization (EBIM) per l'encoder e Minimum Entropy Coupling (MEC) per il decoder. Attraverso un'ampia analisi, forniamo un algoritmo greedy per EBIM con prestazioni garantite e caratterizziamo la soluzione ottimale vicino a mapping funzionali, offrendo significativi approfondimenti teorici sulla complessità strutturale di questo problema. Inoltre, illustreremo l'applicazione pratica di MEC-B attraverso esperimenti nei Markov Coding Games (MCGs) con limiti di tasso. Questi giochi simulano uno scenario di comunicazione all'interno di un Processo Decisionale di Markov, in cui un agente deve trasmettere un messaggio compresso da un mittente a un destinatario attraverso le proprie azioni. I nostri esperimenti mettono in evidenza i compromessi tra i premi MDP e l'accuratezza del destinatario attraverso vari tassi di compressione, mostrando l'efficacia del nostro metodo rispetto al baseline di compressione convenzionale.

English

This paper investigates a novel lossy compression framework operating under logarithmic loss, designed to handle situations where the reconstruction distribution diverges from the source distribution. This framework is especially relevant for applications that require joint compression and retrieval, and in scenarios involving distributional shifts due to processing. We show that the proposed formulation extends the classical minimum entropy coupling framework by integrating a bottleneck, allowing for a controlled degree of stochasticity in the coupling. We explore the decomposition of the Minimum Entropy Coupling with Bottleneck (MEC-B) into two distinct optimization problems: Entropy-Bounded Information Maximization (EBIM) for the encoder, and Minimum Entropy Coupling (MEC) for the decoder. Through extensive analysis, we provide a greedy algorithm for EBIM with guaranteed performance, and characterize the optimal solution near functional mappings, yielding significant theoretical insights into the structural complexity of this problem. Furthermore, we illustrate the practical application of MEC-B through experiments in Markov Coding Games (MCGs) under rate limits. These games simulate a communication scenario within a Markov Decision Process, where an agent must transmit a compressed message from a sender to a receiver through its actions. Our experiments highlight the trade-offs between MDP rewards and receiver accuracy across various compression rates, showcasing the efficacy of our method compared to conventional compression baseline.