Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches

要約

高度なビデオ技術は、いつでもどこからでもユーザーを接続することを目的とした未来的なメタバースの開発を推進しています。
そのため、ユーザーのユースケースはより多様になり、360 度ビデオには非 VR と VR 360 度ビデオの 2 種類が混在することになります。
このペーパーでは、フレーム レートとサイバーシックに関するさまざまな要件を持つ異種混合 360 度ビデオ向けの新しい QoS モデルを紹介します。
フレームスロット構造を提案し、自己設計の差別化深層強化学習アルゴリズムを使用してフレームごとの最適化を実行します。
具体的には、この異種シナリオ向けに、Separate Input Differentiated Output (SIDO) と Merged Input Differentiated Output (MIDO) という 2 つの構造を設計します。
また、その有効性を実証するための総合的な実験も行っています。

要約(オリジナル)

Advanced video technologies are driving the development of the futuristic Metaverse, which aims to connect users from anywhere and anytime. As such, the use cases for users will be much more diverse, leading to a mix of 360-degree videos with two types: non-VR and VR 360-degree videos. This paper presents a novel Quality of Service model for heterogeneous 360-degree videos with different requirements for frame rates and cybersickness. We propose a frame-slotted structure and conduct frame-wise optimization using self-designed differentiated deep reinforcement learning algorithms. Specifically, we design two structures, Separate Input Differentiated Output (SIDO) and Merged Input Differentiated Output (MIDO), for this heterogeneous scenario. We also conduct comprehensive experiments to demonstrate their effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google