Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency

要約

イメージ セマンティック コミュニケーション (ISC) は、ビジュアル コンテンツの送信において高い効率を達成できる可能性があるため、大きな注目を集めています。
しかし、ソースチャネル共同コーディングに基づく既存の ISC システムは、解釈性、操作性、互換性の点で課題に直面しています。
これらの制限に対処するために、私たちは信頼できる新しい ISC フレームワークを提案します。
このアプローチでは、テキスト抽出およびセグメンテーション マッピング技術を活用して画像を説明可能なセマンティクスに変換すると同時に、複数の下流推論タスクに生成人工知能 (GenAI) を採用します。
また、受信した説明可能な意味論的コンテンツと受信側の特定のタスク要件の両方に動的に適応するマルチレート ISC 送信プロトコルも導入します。
シミュレーション結果は、私たちのフレームワークがさまざまなアプリケーション シナリオで説明可能な学習、分離トレーニング、互換性のある送信を実現していることを示しています。
最後に、いくつかの興味深い研究の方向性と応用シナリオが特定されます。

要約(オリジナル)

Image semantic communication (ISC) has garnered significant attention for its potential to achieve high efficiency in visual content transmission. However, existing ISC systems based on joint source-channel coding face challenges in interpretability, operability, and compatibility. To address these limitations, we propose a novel trustworthy ISC framework. This approach leverages text extraction and segmentation mapping techniques to convert images into explainable semantics, while employing Generative Artificial Intelligence (GenAI) for multiple downstream inference tasks. We also introduce a multi-rate ISC transmission protocol that dynamically adapts to both the received explainable semantic content and specific task requirements at the receiver. Simulation results demonstrate that our framework achieves explainable learning, decoupled training, and compatible transmission in various application scenarios. Finally, some intriguing research directions and application scenarios are identified.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google