Scene Understanding Enabled Semantic Communication with Open Channel Coding

要約

通信システムがシンボル送信から意味のある情報を伝えることに移行するにつれて、第6世代（6G）ネットワークはセマンティックコミュニケーションを強調しています。
このアプローチは、高レベルのセマンティック情報を優先し、テキスト、スピーチ、画像などのモダリティ全体の堅牢性を改善し、冗長性を削減します。
ただし、従来のセマンティック通信は、静的なコーディング戦略、貧弱な一般化、適応性を妨げるタスク固有の知識ベースへの依存など、制限に直面しています。
これらの課題を克服するために、シーンの理解、大規模な言語モデル（LLMS）、およびオープンチャネルコーディングを組み合わせた新しいシステムを提案します。
従来のシステムは、固定ドメイン固有の知識ベースに依存しており、一般化する能力を制限しています。
私たちのオープンチャネルコーディングアプローチは、共有された公開されている知識を活用し、柔軟で適応性のあるエンコーディングを可能にします。
この動的システムは、静的なタスク固有のデータへの依存を減らし、多様なタスクや環境にわたる適応性を向上させます。
さらに、構造化されたセマンティックエンコードにシーングラフを使用し、オブジェクトの関係とコンテキストをキャプチャして、視覚的な質問応答（VQA）などのタスクを改善します。
当社のアプローチは、主要なセマンティック要素を選択的にエンコードし、冗長性を最小限に抑え、トランスミッション効率を向上させます。
実験結果は、セマンティック理解と効率の両方の大幅な改善を示し、6Gネットワ​​ークでの適応的で一般化可能なセマンティック通信の可能性を促進します。

要約(オリジナル)

As communication systems transition from symbol transmission to conveying meaningful information, sixth-generation (6G) networks emphasize semantic communication. This approach prioritizes high-level semantic information, improving robustness and reducing redundancy across modalities like text, speech, and images. However, traditional semantic communication faces limitations, including static coding strategies, poor generalization, and reliance on task-specific knowledge bases that hinder adaptability. To overcome these challenges, we propose a novel system combining scene understanding, Large Language Models (LLMs), and open channel coding, named \textbf{OpenSC}. Traditional systems rely on fixed domain-specific knowledge bases, limiting their ability to generalize. Our open channel coding approach leverages shared, publicly available knowledge, enabling flexible, adaptive encoding. This dynamic system reduces reliance on static task-specific data, enhancing adaptability across diverse tasks and environments. Additionally, we use scene graphs for structured semantic encoding, capturing object relationships and context to improve tasks like Visual Question Answering (VQA). Our approach selectively encodes key semantic elements, minimizing redundancy and improving transmission efficiency. Experimental results show significant improvements in both semantic understanding and efficiency, advancing the potential of adaptive, generalizable semantic communication in 6G networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google