Self-SuperFlow: Self-supervised Scene Flow Prediction in Stereo Sequences

要約

近年、ディープニューラルネットワークは、シーンフロー予測を含む多くのコンピュータビジョンタスクに対処する上で、その卓越した能力を示しました。
ただし、進歩のほとんどは、実際のシナリオで取得するのが非常に難しい、ピクセルごとの高密度のグラウンドトゥルースアノテーションの可用性に依存しています。
したがって、合成データは監視に依存することが多く、トレーニングデータとテストデータの間に表現のギャップが生じます。
ラベル付けされていない実世界のデータが大量に利用可能であるとしても、シーンフロー予測のための自己監視方式は非常に不足しています。
したがって、シーンフロー予測の問題について、国勢調査変換とオクルージョンを意識した双方向変位に基づく自己監視損失の拡張を検討します。
KITTIシーンフローベンチマークに関して、私たちの方法は、同じネットワークの対応する監視された事前トレーニングよりも優れており、はるかに高速な収束を達成しながら、改善された一般化機能を示します。

要約(オリジナル)

In recent years, deep neural networks showed their exceeding capabilities in addressing many computer vision tasks including scene flow prediction. However, most of the advances are dependent on the availability of a vast amount of dense per pixel ground truth annotations, which are very difficult to obtain for real life scenarios. Therefore, synthetic data is often relied upon for supervision, resulting in a representation gap between the training and test data. Even though a great quantity of unlabeled real world data is available, there is a huge lack in self-supervised methods for scene flow prediction. Hence, we explore the extension of a self-supervised loss based on the Census transform and occlusion-aware bidirectional displacements for the problem of scene flow prediction. Regarding the KITTI scene flow benchmark, our method outperforms the corresponding supervised pre-training of the same network and shows improved generalization capabilities while achieving much faster convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google