Deformable Neural Radiance Fields using RGB and Event Cameras

要約

視覚データのみから高速で移動する変形可能なオブジェクトの神経放射フィールドをモデル化することは、困難な問題です。
変形が大きく、取得率が低いため、大きな問題が発生します。
この問題に対処するために、非同期方法で視覚的な変化を非常に高速に取得できるイベント カメラを使用することを提案します。
この研究では、RGB カメラとイベント カメラを使用して変形可能な神経放射フィールドをモデル化する新しい方法を開発します。
提案された方法では、イベントの非同期ストリームと調整されたスパース RGB フレームが使用されます。
私たちの設定では、個々のイベントを放射フィールドに統合するために必要なカメラのポーズは不明のままです。
私たちの方法は、これらのポーズと放射フィールドを共同で最適化します。
これは、一度にイベントを収集し、学習中にイベントを積極的にサンプリングすることによって効率的に行われます。
リアルにレンダリングされたグラフィックスと実世界のデータセットの両方で行われた実験では、提案された方法が最先端のベースラインと比較されたベースラインよりも大きな利点があることが実証されました。
これは、現実世界の動的シーンにおける変形可能な神経放射フィールドをモデル化するための有望な方向性を示しています。

要約(オリジナル)

Modeling Neural Radiance Fields for fast-moving deformable objects from visual data alone is a challenging problem. A major issue arises due to the high deformation and low acquisition rates. To address this problem, we propose to use event cameras that offer very fast acquisition of visual change in an asynchronous manner. In this work, we develop a novel method to model the deformable neural radiance fields using RGB and event cameras. The proposed method uses the asynchronous stream of events and calibrated sparse RGB frames. In our setup, the camera pose at the individual events required to integrate them into the radiance fields remains unknown. Our method jointly optimizes these poses and the radiance field. This happens efficiently by leveraging the collection of events at once and actively sampling the events during learning. Experiments conducted on both realistically rendered graphics and real-world datasets demonstrate a significant benefit of the proposed method over the state-of-the-art and the compared baseline. This shows a promising direction for modeling deformable neural radiance fields in real-world dynamic scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google