Deep Generative Modeling Reshapes Compression and Transmission: From Efficiency to Resiliency

要約

情報理論と機械学習は密接に関連しており、「同じコインの表裏」とも呼ばれています。
特に洗練された関係の 1 つは、確率的生成モデリングとデータ圧縮または送信が本質的に等価であることです。
この記事では、効率性を高めるためのデータ圧縮と復元力を高めるための伝送エラー隠蔽の両方を再構築する、深い生成モデルの二重機能を明らかにします。
強力な生成モデルのコンテキスト予測機能を強力な圧縮器および推定器として適切に配置する方法を示します。
この意味で、私たちはエンドツーエンド通信のレンズを通して深い生成モデリングの問題を捉えることを提唱し、基礎生成モデルの圧縮およびエラー復元機能を評価します。
私たちは、多くの大規模な生成モデルのカーネルが、意味論的潜在変数間の複雑な関係を捉えることができる強力な予測子であることを示し、コミュニケーションの観点から、意味論的特徴のトークン化、文脈学習、深い生成モデルの使用法についての新しい洞察が得られます。
要約すると、私たちの記事は、生成 AI とソースおよびチャネルコーディング技術との重要な関係を強調し、研究者がこの新たなトピックについてさらに探求する動機を与えます。

要約(オリジナル)

Information theory and machine learning are inextricably linked and have even been referred to as ‘two sides of the same coin’. One particularly elegant connection is the essential equivalence between probabilistic generative modeling and data compression or transmission. In this article, we reveal the dual-functionality of deep generative models that reshapes both data compression for efficiency and transmission error concealment for resiliency. We present how the contextual predictive capabilities of powerful generative models can be well positioned to be strong compressors and estimators. In this sense, we advocate for viewing the deep generative modeling problem through the lens of end-to-end communications, and evaluate the compression and error restoration capabilities of foundation generative models. We show that the kernel of many large generative models is powerful predictor that can capture complex relationships among semantic latent variables, and the communication viewpoints provide novel insights into semantic feature tokenization, contextual learning, and usage of deep generative models. In summary, our article highlights the essential connections of generative AI to source and channel coding techniques, and motivates researchers to make further explorations in this emerging topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google