Generative AI for Immersive Communication: The Next Frontier in Internet-of-Senses Through 6G

要約

過去 20 年にわたり、モノのインターネット (IoT) は変革的な概念となり、2030 年に近づくにつれて、感覚のインターネット (IoS) として知られる新しいパラダイムが出現しています。
従来の仮想現実 (VR) とは異なり、IoS は多感覚体験の提供を目指しており、私たちの物理的現実において、私たちの知覚は視覚と聴覚だけをはるかに超えていることを認識しています。
それはさまざまな感覚を網羅します。
この記事では、没入型多感覚メディアを推進する既存のテクノロジーを調査し、その機能と潜在的なアプリケーションを詳しく掘り下げます。
この調査には、従来のイマーシブ メディア ストリーミングと、生成型人工知能 (AI) によって強化されたセマンティック コミュニケーションを活用する提案されたユース ケースとの比較分析が含まれます。
この分析の焦点は、提案されたスキームで帯域幅消費が 99.93% 大幅に削減されたことです。
この比較を通じて、没入型メディアにおける生成 AI の実用的な応用を強調することを目的としています。
将来の軌道を概説しながら、複数メディアの時間同期、高スループットの確保、エンドツーエンド (E2E) 遅延の最小化、低帯域幅に対する堅牢性など、この分野の主要な課題に同時に対処します。

要約(オリジナル)

Over the past two decades, the Internet-of-Things (IoT) has become a transformative concept, and as we approach 2030, a new paradigm known as the Internet of Senses (IoS) is emerging. Unlike conventional Virtual Reality (VR), IoS seeks to provide multi-sensory experiences, acknowledging that in our physical reality, our perception extends far beyond just sight and sound; it encompasses a range of senses. This article explores the existing technologies driving immersive multi-sensory media, delving into their capabilities and potential applications. This exploration includes a comparative analysis between conventional immersive media streaming and a proposed use case that leverages semantic communication empowered by generative Artificial Intelligence (AI). The focal point of this analysis is the substantial reduction in bandwidth consumption by 99.93% in the proposed scheme. Through this comparison, we aim to underscore the practical applications of generative AI for immersive media. Concurrently addressing major challenges in this field, such as temporal synchronization of multiple media, ensuring high throughput, minimizing the End-to-End (E2E) latency, and robustness to low bandwidth while outlining future trajectories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google