Tele-Aloha: A Low-budget and High-authenticity Telepresence System Using Sparse RGB Cameras

要約

この論文では、ピアツーピア通信シナリオを対象とした、低予算で信頼性の高い双方向テレプレゼンス システム Tele-Aloha を紹介します。
以前のシステムと比較して、Tele-Aloha は、高解像度 (2048×2048)、リアルタイム (30 fps)、低遅延 (150 ミリ秒未満) を実現するために、4 台のスパース RGB カメラ、1 台の消費者向け GPU、および 1 台の自動立体画面のみを利用します。
堅牢な遠隔通信。
Tele-Alohaの中核として、上半身の効率的な新視点合成アルゴリズムを提案します。
まず、堅牢な幾何学キューを取得するためのカスケード視差推定器を設計します。
さらに、潜在的な特徴をターゲット ビューに投影し、それらを低解像度にデコードするために、ガウス スプラッティングによるニューラル ラスタライザーが導入されています。
さらに、高品質のキャプチャ データを考慮して、重み付けブレンディング メカニズムを活用して、デコードされた画像を 2K の最終解像度に調整します。
世界をリードする裸眼立体ディスプレイと低遅延虹彩トラッキングを活用することで、ユーザーはウェアラブル ヘッドマウント ディスプレイ デバイスがなくても強力な 3 次元感覚を体験できます。
まとめると、当社のテレプレゼンス システムは現実の実験における共同存在感を実証し、次世代のコミュニケーションにインスピレーションを与えます。

要約(オリジナル)

In this paper, we present a low-budget and high-authenticity bidirectional telepresence system, Tele-Aloha, targeting peer-to-peer communication scenarios. Compared to previous systems, Tele-Aloha utilizes only four sparse RGB cameras, one consumer-grade GPU, and one autostereoscopic screen to achieve high-resolution (2048×2048), real-time (30 fps), low-latency (less than 150ms) and robust distant communication. As the core of Tele-Aloha, we propose an efficient novel view synthesis algorithm for upper-body. Firstly, we design a cascaded disparity estimator for obtaining a robust geometry cue. Additionally a neural rasterizer via Gaussian Splatting is introduced to project latent features onto target view and to decode them into a reduced resolution. Further, given the high-quality captured data, we leverage weighted blending mechanism to refine the decoded image into the final resolution of 2K. Exploiting world-leading autostereoscopic display and low-latency iris tracking, users are able to experience a strong three-dimensional sense even without any wearable head-mounted display device. Altogether, our telepresence system demonstrates the sense of co-presence in real-life experiments, inspiring the next generation of communication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google