NeRF-Supervised Deep Stereo

要約

ディープ ステレオ ネットワークを簡単に、グラウンド トゥルースなしでトレーニングするための新しいフレームワークを紹介します。
最先端のニューラル レンダリング ソリューションを活用して、1 台のハンドヘルド カメラで収集した画像シーケンスからステレオ トレーニング データを生成します。
その上で、NeRF によって監視されたトレーニング手順が実行され、そこからレンダリングされたステレオ トリプレットを利用して、オクルージョンと深度マップをプロキシ ラベルとして補正します。
これにより、シャープで詳細な視差マップを予測できるステレオ ネットワークが得られます。
実験結果によると、この体制でトレーニングされたモデルは、挑戦的なミドルベリー データセットで既存の自己教師あり方法よりも 30 ～ 40% 改善され、教師ありモデルとのギャップを埋め、ほとんどの場合、ゼロ ショットの一般化でそれらよりも優れていることが示されています。

要約(オリジナル)

We introduce a novel framework for training deep stereo networks effortlessly and without any ground-truth. By leveraging state-of-the-art neural rendering solutions, we generate stereo training data from image sequences collected with a single handheld camera. On top of them, a NeRF-supervised training procedure is carried out, from which we exploit rendered stereo triplets to compensate for occlusions and depth maps as proxy labels. This results in stereo networks capable of predicting sharp and detailed disparity maps. Experimental results show that models trained under this regime yield a 30-40% improvement over existing self-supervised methods on the challenging Middlebury dataset, filling the gap to supervised models and, most times, outperforming them at zero-shot generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google