Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields

要約

カジュアルな単眼ビデオから現実世界のダイナミックなシーンで斬新なビューを表現して合成することは、長年の問題です。
既存のソリューションは通常、ジオメトリ技術を適用するか、いくつかの隣接するフレーム間の時間情報を利用することによって動的なシーンにアプローチしますが、シーン全体の背景の分布やレイ次元の透過率を考慮せずに、静的なオクルージョン領域でのパフォーマンスを制限します。
私たちのアプローチ $\textbf{D}$istribution-$\textbf{D}$riven ニューラル ラディアンス フィールドは、高品質のビュー合成と $\textbf{D}$$\textbf{
$\text{D}^4$NeRF と呼ばれる D}$動的シーン。
具体的には、ニューラル表現を使用して静的背景のシーン分布をキャプチャし、6D 入力 NeRF を使用して動的オブジェクトをそれぞれ表現します。
各レイ サンプルには追加のオクルージョン ウェイトが与えられ、静的コンポーネントと動的コンポーネントの透過率を示します。
$\text{D}^4$NeRF は、公共の動的シーンと自動運転データセットから取得した都市部の運転シーンで評価します。
広範な実験により、私たちのアプローチは、テクスチャの詳細とモーション領域のレンダリングにおいて以前の方法よりも優れていることが示されていますが、きれいな静的な背景も生成されます。
コードは https://github.com/Luciferbobo/D4NeRF でリリースされます。

要約(オリジナル)

Representing and synthesizing novel views in real-world dynamic scenes from casual monocular videos is a long-standing problem. Existing solutions typically approach dynamic scenes by applying geometry techniques or utilizing temporal information between several adjacent frames without considering the underlying background distribution in the entire scene or the transmittance over the ray dimension, limiting their performance on static and occlusion areas. Our approach $\textbf{D}$istribution-$\textbf{D}$riven neural radiance fields offers high-quality view synthesis and a 3D solution to $\textbf{D}$etach the background from the entire $\textbf{D}$ynamic scene, which is called $\text{D}^4$NeRF. Specifically, it employs a neural representation to capture the scene distribution in the static background and a 6D-input NeRF to represent dynamic objects, respectively. Each ray sample is given an additional occlusion weight to indicate the transmittance lying in the static and dynamic components. We evaluate $\text{D}^4$NeRF on public dynamic scenes and our urban driving scenes acquired from an autonomous-driving dataset. Extensive experiments demonstrate that our approach outperforms previous methods in rendering texture details and motion areas while also producing a clean static background. Our code will be released at https://github.com/Luciferbobo/D4NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google