Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck

要約

タスク指向通信は、タスク関連情報を抽出して送信し、通信オーバーヘッドと送信遅延を大幅に削減することを目的としています。
ただし、ドメイン シフトやセマンティック シフトなど、トレーニング データとテスト データの間の予測できない分布の変化により、システムのパフォーマンスが大幅に低下する可能性があります。
これらの課題に取り組むには、エンコードされた特徴をドメインシフトされたデータに一般化して、セマンティックシフトされたデータを検出できると同時に、送信用にコンパクトな状態を保つことが重要です。
この論文では、情報ボトルネック (IB) 原則と不変リスク最小化 (IRM) フレームワークに基づいた新しいアプローチを提案します。
提案された方法は、トレーニング中にテストデータの知識がなくても、効果的なドメインシフト一般化と正確なセマンティックシフト検出のための高い能力を備えたコンパクトで有益な特徴を抽出することを目的としています。
具体的には、ドメインシフト一般化のための IB 原則と IRM フレームワークに基づいた不変特徴エンコード アプローチを提案します。これは、エンコードされた特徴の複雑さとドメイン依存性を最小限に抑えることで、入力データとタスク結果の間の因果関係を見つけることを目的としています。
さらに、セマンティックシフト検出のためのラベル依存の特徴エンコード手法を使用してタスク指向の通信を強化し、IB の最適化と検出パフォーマンスの共同利得を実現します。
IB ベースの目標の扱いにくい計算を回避するために、変分近似を利用して最適化の扱いやすい上限を導き出します。
画像分類タスクに関する広範なシミュレーション結果は、提案されたスキームが最先端のアプローチを上回り、より優れたレート歪みトレードオフを達成することを実証しています。

要約(オリジナル)

Task-oriented communication aims to extract and transmit task-relevant information to significantly reduce the communication overhead and transmission latency. However, the unpredictable distribution shifts between training and test data, including domain shift and semantic shift, can dramatically undermine the system performance. In order to tackle these challenges, it is crucial to ensure that the encoded features can generalize to domain-shifted data and detect semanticshifted data, while remaining compact for transmission. In this paper, we propose a novel approach based on the information bottleneck (IB) principle and invariant risk minimization (IRM) framework. The proposed method aims to extract compact and informative features that possess high capability for effective domain-shift generalization and accurate semantic-shift detection without any knowledge of the test data during training. Specifically, we propose an invariant feature encoding approach based on the IB principle and IRM framework for domainshift generalization, which aims to find the causal relationship between the input data and task result by minimizing the complexity and domain dependence of the encoded feature. Furthermore, we enhance the task-oriented communication with the label-dependent feature encoding approach for semanticshift detection which achieves joint gains in IB optimization and detection performance. To avoid the intractable computation of the IB-based objective, we leverage variational approximation to derive a tractable upper bound for optimization. Extensive simulation results on image classification tasks demonstrate that the proposed scheme outperforms state-of-the-art approaches and achieves a better rate-distortion tradeoff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google