Large AI Model-Based Semantic Communications

要約

セマンティック コミュニケーション (SC) は新たなインテリジェント パラダイムであり、メタバース、複合現実、すべてのインターネットなどの将来のさまざまなアプリケーションにソリューションを提供します。
しかし、現在の SC システムでは、知識ベース (KB) の構築において、知識表現の制限、知識の頻繁な更新、安全でない知識の共有など、いくつかの問題に直面しています。
幸いなことに、大規模な AI モデルの開発により、上記の問題を克服するための新しいソリューションが提供されます。
ここでは、画像データ専用に設計された大規模な AI モデルベースの SC フレームワーク (LAM-SC) を提案します。最初に、元の画像を異なるセマンティック セグメントに分割できるセグメント エニシング モデル (SAM) ベースの KB (SKB) を設計します。
普遍的な意味知識によって。
次に、人間の参加なしに SKB によって生成された意味セグメントを重み付けし、それらを意味認識画像として統合する注意ベースの意味統合 (ASI) を提案します。
さらに、セマンティック特徴の冗長な情報を削除し、それによって通信オーバーヘッドを削減する適応型セマンティック圧縮 (ASC) エンコーディングを提案します。
最後に、シミュレーションを通じて、LAM-SC フレームワークの有効性と、将来の SC パラダイムにおける大規模な AI モデルベースの KB 開発の重要性を実証します。

要約(オリジナル)

Semantic communication (SC) is an emerging intelligent paradigm, offering solutions for various future applications like metaverse, mixed-reality, and the Internet of everything. However, in current SC systems, the construction of the knowledge base (KB) faces several issues, including limited knowledge representation, frequent knowledge updates, and insecure knowledge sharing. Fortunately, the development of the large AI model provides new solutions to overcome above issues. Here, we propose a large AI model-based SC framework (LAM-SC) specifically designed for image data, where we first design the segment anything model (SAM)-based KB (SKB) that can split the original image into different semantic segments by universal semantic knowledge. Then, we present an attention-based semantic integration (ASI) to weigh the semantic segments generated by SKB without human participation and integrate them as the semantic-aware image. Additionally, we propose an adaptive semantic compression (ASC) encoding to remove redundant information in semantic features, thereby reducing communication overhead. Finally, through simulations, we demonstrate the effectiveness of the LAM-SC framework and the significance of the large AI model-based KB development in future SC paradigms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google