Sync-NeRF: Generalizing Dynamic NeRFs to Unsynchronized Videos

要約

Neural Radiance Field (NeRF) を使用した 4D シーン再構成の最近の進歩により、マルチビュー ビデオから動的なシーンを表現できることが実証されました。
ただし、動的なシーンを再構築することができず、非同期設定ではトレーニング ビューさえも適合させるのに苦労します。
これは、フレームのマルチビュー画像が実際には異なる瞬間にキャプチャされたものであるにもかかわらず、フレームに単一の潜在的な埋め込みを採用しているために発生します。
この制限に対処するために、個々の非同期ビデオに時間オフセットを導入し、NeRF と共同でオフセットを最適化します。
設計上、私たちの方法はさまざまなベースラインに適用でき、大きなマージンでベースラインを改善します。
さらに、オフセットを見つけることは、手動で努力することなく自然にビデオを同期するように機能します。
実験は、共通の Plenoptic ビデオ データセットと新しく構築された非同期ダイナミック ブレンダー データセットで行われ、メソッドのパフォーマンスを検証します。
プロジェクトページ：https://seoha-kim.github.io/sync-nerf

要約(オリジナル)

Recent advancements in 4D scene reconstruction using neural radiance fields (NeRF) have demonstrated the ability to represent dynamic scenes from multi-view videos. However, they fail to reconstruct the dynamic scenes and struggle to fit even the training views in unsynchronized settings. It happens because they employ a single latent embedding for a frame while the multi-view images at the frame were actually captured at different moments. To address this limitation, we introduce time offsets for individual unsynchronized videos and jointly optimize the offsets with NeRF. By design, our method is applicable for various baselines and improves them with large margins. Furthermore, finding the offsets naturally works as synchronizing the videos without manual effort. Experiments are conducted on the common Plenoptic Video Dataset and a newly built Unsynchronized Dynamic Blender Dataset to verify the performance of our method. Project page: https://seoha-kim.github.io/sync-nerf

arxiv情報

提供元, 利用サービス

arxiv.jp, Google