Instant-NVR: Instant Neural Volumetric Rendering for Human-object Interactions from Monocular RGBD Stream

要約

タイトル: 人間と物体の相互作用のための瞬時ニューラル体積レンダリング

要約:
– 人間と物体の相互作用の4次元モデリングは多くのアプリケーションにとって重要ですが、単眼追跡と複雑な相互作用シナリオのレンダリングは依然として困難です。
– Instant-NVRは、単一のRGBDカメラを使用して瞬時の体積的な人間と物体の追跡とレンダリングを行うニューラルアプローチです。
– 追跡フロントエンドでは、十分な動きの先行事例を提供するために、ロバストな人間と物体のキャプチャスキームを採用しています。
– さらに、ハイブリッド変形モジュールを備えた分離されたインスタントニューラル表現を導入して、相互作用するシーンのレンダリングを行っています。
– 効率的な運動先行探索による動的/静的輝度場のオンザフライ再構築スキームも提供しています。
– さらに、オンラインキーフレーム選択スキームとレンダリングに配慮したリファインストラテジーを導入して、オンラインの新奇視点合成において外観の詳細を大幅に改善しています。
– 広範な実験により、Instant-NVRアプローチが複雑な人間と物体の相互作用下でリアルタイムフォトリアルな新規ビュー合成を実現することが示されています。

要約(オリジナル)

Convenient 4D modeling of human-object interactions is essential for numerous applications. However, monocular tracking and rendering of complex interaction scenarios remain challenging. In this paper, we propose Instant-NVR, a neural approach for instant volumetric human-object tracking and rendering using a single RGBD camera. It bridges traditional non-rigid tracking with recent instant radiance field techniques via a multi-thread tracking-rendering mechanism. In the tracking front-end, we adopt a robust human-object capture scheme to provide sufficient motion priors. We further introduce a separated instant neural representation with a novel hybrid deformation module for the interacting scene. We also provide an on-the-fly reconstruction scheme of the dynamic/static radiance fields via efficient motion-prior searching. Moreover, we introduce an online key frame selection scheme and a rendering-aware refinement strategy to significantly improve the appearance details for online novel-view synthesis. Extensive experiments demonstrate the effectiveness and efficiency of our approach for the instant generation of human-object radiance fields on the fly, notably achieving real-time photo-realistic novel view synthesis under complex human-object interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI