Geometry-Informed Distance Candidate Selection for Adaptive Lightweight Omnidirectional Stereo Vision with Fisheye Images

要約

マルチビュー ステレオの全方向距離推定では、通常、多くの仮想距離候補を使用してコスト ボリュームを構築する必要があります。
移動ロボットのリソースが限られていることを考慮すると、コスト ボリュームの構築プロセスは多くの場合、計算量が多くなります。
我々は、非常に少数の候補の使用を可能にし、計算コストを削減する、幾何学に基づいた新しい距離候補選択方法を提案します。
一連のモデル バリアントでのジオメトリ情報に基づいた候補の使用を示します。
ロボットの展開中に候補を調整することで、外部要素やカメラの数が変化した場合でも、ジオメトリ情報に基づいた距離候補により、事前トレーニングされたモデルの精度も向上することがわかりました。
再トレーニングや微調整を行わなくても、私たちのモデルは、均等に分散された距離候補でトレーニングされたモデルよりも優れたパフォーマンスを発揮します。
モデルは、新しい専用の大規模データセットを備えたハードウェア アクセラレーション バージョンとしてもリリースされます。
プロジェクト ページ、コード、データセットは https://theairlab.org/gicandidates/ にあります。

要約(オリジナル)

Multi-view stereo omnidirectional distance estimation usually needs to build a cost volume with many hypothetical distance candidates. The cost volume building process is often computationally heavy considering the limited resources a mobile robot has. We propose a new geometry-informed way of distance candidates selection method which enables the use of a very small number of candidates and reduces the computational cost. We demonstrate the use of the geometry-informed candidates in a set of model variants. We find that by adjusting the candidates during robot deployment, our geometry-informed distance candidates also improve a pre-trained model’s accuracy if the extrinsics or the number of cameras changes. Without any re-training or fine-tuning, our models outperform models trained with evenly distributed distance candidates. Models are also released as hardware-accelerated versions with a new dedicated large-scale dataset. The project page, code, and dataset can be found at https://theairlab.org/gicandidates/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google