Expansion of Visual Hints for Improved Generalization in Stereo Matching

要約

一般化を改善するために、ステレオ マッチングをガイドするための視覚的なヒント展開を導入します。
私たちの仕事は、コンピューター ビジョンとロボティクスにおける Visual Inertial Odometry (VIO) の堅牢性に動機付けられています。この VIO では、まばらで不均一に分散された一連の特徴点がシーンを特徴付けます。
ステレオ マッチングを改善するために、2D ヒントを 3D ポイントに昇格することを提案します。
これらのまばらで不均等に分散された 3D ビジュアル ヒントは、3D ランダム ジオメトリック グラフを使用して拡張され、学習と推論プロセスが強化されます。
広く採用されている複数のベンチマークで提案を評価し、画像シーケンス以外の追加のセンサーにアクセスせずにパフォーマンスの向上を示します。
実際の適用性とビジュアルオドメトリとの共生を強調するために、組み込みハードウェアでメソッドがどのように実行されるかを示します。

要約(オリジナル)

We introduce visual hints expansion for guiding stereo matching to improve generalization. Our work is motivated by the robustness of Visual Inertial Odometry (VIO) in computer vision and robotics, where a sparse and unevenly distributed set of feature points characterizes a scene. To improve stereo matching, we propose to elevate 2D hints to 3D points. These sparse and unevenly distributed 3D visual hints are expanded using a 3D random geometric graph, which enhances the learning and inference process. We evaluate our proposal on multiple widely adopted benchmarks and show improved performance without access to additional sensors other than the image sequence. To highlight practical applicability and symbiosis with visual odometry, we demonstrate how our methods run on embedded hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google