FreeDriveRF: Monocular RGB Dynamic NeRF without Poses for Autonomous Driving via Point-Level Dynamic-Static Decoupling

要約

自律運転の動的シーンの再構築により、車両は複雑なシーンの変化をより正確に認識して解釈できます。
動的ニューラル放射輝度（NERF）は最近、シーンモデリングに有望な能力を示しています。
ただし、多くの既存の方法は、正確なポーズ入力とマルチセンサーデータに大きく依存しており、システムの複雑さの向上につながります。
これに対処するために、Poses入力を必要とせずにシーケンシャルRGB画像のみを使用して動的な駆動シーンを再構築するFreedriverfを提案します。
セマンティック監督を使用して、初期のサンプリングレベルで動的および静的部分を革新的に切り離し、画像のぼやけとアーティファクトを緩和します。
単眼カメラのオブジェクトの動きと閉塞によってもたらされる課題を克服するために、動的モデリングプロセスをよりよく制限するために光学フローを利用して、ゆがんだ光線誘導ダイナミックオブジェクトレンダリングの一貫性の損失を導入します。
さらに、推定された動的流れを組み込み、ポーズ最適化プロセスを制限し、無制限のシーン再構成の安定性と精度を改善します。
KittiおよびWaymoデータセットで実施された広範な実験は、自律運転の動的シーンモデリングにおける私たちの方法の優れた性能を示しています。

要約(オリジナル)

Dynamic scene reconstruction for autonomous driving enables vehicles to perceive and interpret complex scene changes more precisely. Dynamic Neural Radiance Fields (NeRFs) have recently shown promising capability in scene modeling. However, many existing methods rely heavily on accurate poses inputs and multi-sensor data, leading to increased system complexity. To address this, we propose FreeDriveRF, which reconstructs dynamic driving scenes using only sequential RGB images without requiring poses inputs. We innovatively decouple dynamic and static parts at the early sampling level using semantic supervision, mitigating image blurring and artifacts. To overcome the challenges posed by object motion and occlusion in monocular camera, we introduce a warped ray-guided dynamic object rendering consistency loss, utilizing optical flow to better constrain the dynamic modeling process. Additionally, we incorporate estimated dynamic flow to constrain the pose optimization process, improving the stability and accuracy of unbounded scene reconstruction. Extensive experiments conducted on the KITTI and Waymo datasets demonstrate the superior performance of our method in dynamic scene modeling for autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google