Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency

要約

自己教師あり単眼深度推定のステレオマッチング知識蒸留法では、ステレオマッチングネットワークの知識が、擬似深度マップを通じて単眼深度ネットワークに蒸留されます。
これらの方法では、通常、学習ベースのステレオ信頼ネットワークを利用して、疑似深度マップ内のエラーを特定し、エラーの伝達を防ぎます。
ただし、学習ベースのステレオ信頼ネットワークはグラウンド トゥルース (GT) を使用してトレーニングする必要がありますが、自己教師ありの設定では実現できません。
この論文では、GT やトレーニング プロセスを必要とせずに、複数の視差マップを使用してそれらの一貫性をチェックすることにより、擬似深度マップ内のエラーを識別およびフィルタリングする方法を提案します。
実験結果は、提案された方法が以前の方法よりも優れており、特にテクスチャのない領域、オクルージョン境界、反射面など、ステレオマッチングが脆弱な誤った領域をフィルタリングして除去することで、さまざまな構成でうまく機能することを示しています。

要約(オリジナル)

In stereo-matching knowledge distillation methods of the self-supervised monocular depth estimation, the stereo-matching network’s knowledge is distilled into a monocular depth network through pseudo-depth maps. In these methods, the learning-based stereo-confidence network is generally utilized to identify errors in the pseudo-depth maps to prevent transferring the errors. However, the learning-based stereo-confidence networks should be trained with ground truth (GT), which is not feasible in a self-supervised setting. In this paper, we propose a method to identify and filter errors in the pseudo-depth map using multiple disparity maps by checking their consistency without the need for GT and a training process. Experimental results show that the proposed method outperforms the previous methods and works well on various configurations by filtering out erroneous areas where the stereo-matching is vulnerable, especially such as textureless regions, occlusion boundaries, and reflective surfaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google