Efficient 3D Reconstruction, Streaming and Visualization of Static and Dynamic Scene Parts for Multi-client Live-telepresence in Large-scale Environments

要約

静的および動的なシーン エンティティを使用したルーム スケールのシーン向けのテレプレゼンス システムは目覚ましい進歩を遂げていますが、その機能を数平方メートルの固定サイズを超えるより大きな動的環境のシナリオに拡張することは依然として困難です。
このホワイト ペーパーでは、単一の移動消費者グレード RGB-D を使用した軽量シーン キャプチャのみに基づく実用的な帯域幅要件で、静的シーン エンティティと動的シーン エンティティの両方を使用して、ルーム スケールを超える大規模環境で 3D ライブ テレプレゼンス エクスペリエンスを共有することを目的としています。
カメラ。
この目的のために、再構築された表面ジオメトリを格納するだけでなく、オブジェクトに関する情報も含む、静的コンテンツのボクセルベースのシーン表現の組み合わせに関して、新しいハイブリッド ボリューム シーン表現に基づいて構築されたシステムを提示します。
セマンティクスと時間の経過とともに蓄積された動的な動き、動的シーン パーツの点群ベースの表現。静的パーツからのそれぞれの分離は、入力フレーム用に抽出されたセマンティックおよびインスタンス情報に基づいて実現されます。
静的コンテンツと動的コンテンツの両方の独立した同時ストリーミングを使用して、動的になる可能性があるが現在静的なシーン エンティティを静的モデルにシームレスに統合し、リモート クライアントで静的データと動的データを融合します。
私たちのシステムは、インタラクティブなレートで VR ベースのライブ テレプレゼンスを実現できます。
私たちの評価は、関連するデザインの選択に関する視覚的な品質、パフォーマンス、およびアブレーション研究の観点から、私たちの新しいアプローチの可能性を示しています。

要約(オリジナル)

Despite the impressive progress of telepresence systems for room-scale scenes with static and dynamic scene entities, expanding their capabilities to scenarios with larger dynamic environments beyond a fixed size of a few squaremeters remains challenging. In this paper, we aim at sharing 3D live-telepresence experiences in large-scale environments beyond room scale with both static and dynamic scene entities at practical bandwidth requirements only based on light-weight scene capture with a single moving consumer-grade RGB-D camera. To this end, we present a system which is built upon a novel hybrid volumetric scene representation in terms of the combination of a voxel-based scene representation for the static contents, that not only stores the reconstructed surface geometry but also contains information about the object semantics as well as their accumulated dynamic movement over time, and a point-cloud-based representation for dynamic scene parts, where the respective separation from static parts is achieved based on semantic and instance information extracted for the input frames. With an independent yet simultaneous streaming of both static and dynamic content, where we seamlessly integrate potentially moving but currently static scene entities in the static model until they are becoming dynamic again, as well as the fusion of static and dynamic data at the remote client, our system is able to achieve VR-based live-telepresence at interactive rates. Our evaluation demonstrates the potential of our novel approach in terms of visual quality, performance, and ablation studies regarding involved design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google