Token Communications: A Unified Framework for Cross-modal Context-aware Semantic Communications

要約

このホワイトペーパーでは、生成セマンティックコミュニケーションズ（GENSC）のクロスモーダルコンテキスト情報を活用するための統一されたフレームワークであるToken Communications（Tokcom）を紹介します。
Tokcomは新しいパラダイムであり、最近の生成基盤モデルとマルチモーダル大手言語モデル（GFM/MLLMS）の成功に動機付けられており、通信ユニットがトークンであり、トランスミッターとレシーバーでの効率的な変圧器ベースのトークン処理を可能にします。
この論文では、GENSCのコンテキストを活用する潜在的な機会と課題を紹介し、GFM/MLLMSベースのトークン処理をセマンティック通信システムに統合してクロスモーダルコンテキストを効果的に活用し、さまざまなレイヤーで効率的なTokcomの重要な原則を提示します
将来のワイヤレスネットワーク。
画像のGENSCセットアップで対応するTokcomの利点を示し、クロスモーダルコンテキスト情報を活用して、セマンティック/知覚品質の無視できる損失で帯域幅の効率を70.8％増加させます。
最後に、将来のワイヤレスネットワークでのTokcomの採用を促進するために、潜在的な研究方向が特定されています。

要約(オリジナル)

In this paper, we introduce token communications (TokCom), a unified framework to leverage cross-modal context information in generative semantic communications (GenSC). TokCom is a new paradigm, motivated by the recent success of generative foundation models and multimodal large language models (GFM/MLLMs), where the communication units are tokens, enabling efficient transformer-based token processing at the transmitter and receiver. In this paper, we introduce the potential opportunities and challenges of leveraging context in GenSC, explore how to integrate GFM/MLLMs-based token processing into semantic communication systems to leverage cross-modal context effectively, present the key principles for efficient TokCom at various layers in future wireless networks. We demonstrate the corresponding TokCom benefits in a GenSC setup for image, leveraging cross-modal context information, which increases the bandwidth efficiency by 70.8% with negligible loss of semantic/perceptual quality. Finally, the potential research directions are identified to facilitate adoption of TokCom in future wireless networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google