Timeliness-Fidelity Tradeoff in 3D Scene Representations

要約

リアルタイムの 3 次元 (3D) シーン表現は、デジタル製造、仮想/拡張/拡張/複合現実 (VR/AR/XR/MR)、メタバースなどのさまざまな革新的なアプリケーションを強化する構成要素の 1 つとして機能します。
。
リアルタイム通信とコンピューティングに対して多大な努力が払われてきたにもかかわらず、リアルタイム 3D シーン表現は依然として困難な課題です。
この論文では、リアルタイム 3D シーン表現における適時性と忠実性の間のトレードオフを調査します。
具体的には、エッジ サーバーと通信する複数のカメラで現実世界のシナリオを監視する、通信遅延のトレードオフへの影響を評価するフレームワークを確立します。
3D シーン表現の忠実度を向上させるために、情報時代 (AoI) を活用して、受信した画像を 3D シーン表現とレンダリングに含める必要があるかどうかを判断するシングル ステップの近接ポリシー最適化 (PPO) 手法を使用することを提案します。
さまざまなよく知られた 3D シーン表現方法を使用して、フレームワークと提案されたアプローチをテストします。
シミュレーション結果から、リアルタイムの 3D シーン表現は通信遅延の影響を敏感に受ける可能性があり、提案した手法は最適な 3D シーン表現結果を達成できることが明らかになりました。

要約(オリジナル)

Real-time three-dimensional (3D) scene representations serve as one of the building blocks that bolster various innovative applications, e.g., digital manufacturing, Virtual/Augmented/Extended/Mixed Reality (VR/AR/XR/MR), and the metaverse. Despite substantial efforts that have been made to real-time communications and computing, real-time 3D scene representations remain a challenging task. This paper investigates the tradeoff between timeliness and fidelity in real-time 3D scene representations. Specifically, we establish a framework to evaluate the impact of communication delay on the tradeoff, where the real-world scenario is monitored by multiple cameras that communicate with an edge server. To improve fidelity for 3D scene representations, we propose to use a single-step Proximal Policy Optimization (PPO) method that leverages the Age of Information (AoI) to decide if the received image needs to be involved in 3D scene representations and rendering. We test our framework and the proposed approach with different well-known 3D scene representation methods. Simulation results reveal that real-time 3D scene representation can be sensitively affected by communication delay, and our proposed method can achieve optimal 3D scene representation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google