Efficient 3D Reconstruction, Streaming and Visualization of Static and Dynamic Scene Parts for Multi-client Live-telepresence in Large-scale Environments

要約

静的および動的シーン エンティティを含むルームスケール シーン向けのテレプレゼンス システムは目覚ましい進歩を遂げていますが、その機能を数平方メートルの固定サイズを超えるより大きな動的環境のシナリオに拡張することは依然として困難です。
この論文では、単一の移動消費者グレードの RGB-D による軽量シーン キャプチャのみに基づいて、実用的な帯域幅要件で静的シーン エンティティと動的なシーン エンティティの両方を使用して、ルーム スケールを超えた大規模環境で 3D ライブ テレプレゼンス エクスペリエンスを共有することを目的としています。
カメラ。
この目的を達成するために、静的コンテンツのボクセルベースのシーン表現の組み合わせという観点から、新しいハイブリッドボリュームシーン表現に基づいて構築されたシステムを提案します。このシステムには、再構成された表面ジオメトリを保存するだけでなく、オブジェクトに関する情報も含まれています。
セマンティクスと時間の経過とともに蓄積された動的動き、および動的シーン部分の点群ベースの表現。静的部分からのそれぞれの分離は、入力フレームに対して抽出されたセマンティクスおよびインスタンス情報に基づいて実現されます。
静的コンテンツと動的コンテンツの両方の独立した同時にストリーミングを使用して、潜在的に移動するが現在は静的であるシーン エンティティを、再び動的になるまで静的モデルにシームレスに統合し、リモート クライアントで静的データと動的データを融合します。
私たちのシステムは、リアルタイムに近い速度で VR ベースのライブ テレプレゼンスを実現できます。
私たちの評価は、視覚的な品質、性能、および関連する設計の選択に関するアブレーション研究の観点から、私たちの新しいアプローチの可能性を実証しています。

要約(オリジナル)

Despite the impressive progress of telepresence systems for room-scale scenes with static and dynamic scene entities, expanding their capabilities to scenarios with larger dynamic environments beyond a fixed size of a few square-meters remains challenging. In this paper, we aim at sharing 3D live-telepresence experiences in large-scale environments beyond room scale with both static and dynamic scene entities at practical bandwidth requirements only based on light-weight scene capture with a single moving consumer-grade RGB-D camera. To this end, we present a system which is built upon a novel hybrid volumetric scene representation in terms of the combination of a voxel-based scene representation for the static contents, that not only stores the reconstructed surface geometry but also contains information about the object semantics as well as their accumulated dynamic movement over time, and a point-cloud-based representation for dynamic scene parts, where the respective separation from static parts is achieved based on semantic and instance information extracted for the input frames. With an independent yet simultaneous streaming of both static and dynamic content, where we seamlessly integrate potentially moving but currently static scene entities in the static model until they are becoming dynamic again, as well as the fusion of static and dynamic data at the remote client, our system is able to achieve VR-based live-telepresence at close to real-time rates. Our evaluation demonstrates the potential of our novel approach in terms of visual quality, performance, and ablation studies regarding involved design choices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google