Improving Robustness for Joint Optimization of Camera Poses and Decomposed Low-Rank Tensorial Radiance Fields

要約

この論文では、監視として 2D 画像のみを使用して、分解された低ランク テンソルによって表されるカメラのポーズとシーンのジオメトリの共同改良を可能にするアルゴリズムを提案します。
まず、1D 信号に基づいてパイロット スタディを実施し、その結果を 3D シナリオに関連付けます。このシナリオでは、ボクセルベースの NeRF での単純な関節ポーズの最適化が次善のソリューションに簡単につながる可能性があります。
さらに、周波数スペクトルの分析に基づいて、関節カメラの姿勢の最適化を可能にする粗いから細かいトレーニング スケジュールのために、2D および 3D 放射輝度フィールドに畳み込みガウス フィルターを適用することを提案します。
分解された低ランク テンソルの分解特性を利用することで、私たちの方法は、わずかな計算オーバーヘッドのみで総当たり 3D 畳み込みと同等の効果を達成します。
結合最適化のロバスト性と安定性をさらに向上させるために、平滑化された 2D 監視、ランダムにスケーリングされたカーネル パラメーター、およびエッジ ガイド付き損失マスクの手法も提案します。
広範な定量的および定性的評価により、私たちが提案したフレームワークが新しいビューの合成において優れたパフォーマンスと、最適化のための迅速な収束を達成することが実証されました。

要約(オリジナル)

In this paper, we propose an algorithm that allows joint refinement of camera pose and scene geometry represented by decomposed low-rank tensor, using only 2D images as supervision. First, we conduct a pilot study based on a 1D signal and relate our findings to 3D scenarios, where the naive joint pose optimization on voxel-based NeRFs can easily lead to sub-optimal solutions. Moreover, based on the analysis of the frequency spectrum, we propose to apply convolutional Gaussian filters on 2D and 3D radiance fields for a coarse-to-fine training schedule that enables joint camera pose optimization. Leveraging the decomposition property in decomposed low-rank tensor, our method achieves an equivalent effect to brute-force 3D convolution with only incurring little computational overhead. To further improve the robustness and stability of joint optimization, we also propose techniques of smoothed 2D supervision, randomly scaled kernel parameters, and edge-guided loss mask. Extensive quantitative and qualitative evaluations demonstrate that our proposed framework achieves superior performance in novel view synthesis as well as rapid convergence for optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google