FoundationStereo: Zero-Shot Stereo Matching

要約

ドメインごとの微調整により、ベンチマーク データセットで優れたディープ ステレオ マッチングが大幅に進歩しました。
ただし、他のコンピュータ ビジョン タスクにおける基礎モデルの特徴である強力なゼロショット汎化を達成することは、ステレオ マッチングにとって依然として困難です。
強力なゼロショット一般化を達成するために設計されたステレオ深度推定の基礎モデルである FoundationStereo を紹介します。
この目的を達成するために、まず、大きな多様性と高いフォトリアリズムを特徴とする大規模 (100 万ステレオ ペア) の合成トレーニング データセットを構築し、その後、あいまいなサンプルを削除するための自動自己キュレーション パイプラインを構築します。
次に、視覚基盤モデルからの豊富な単眼事前分布を適応させてシミュレーションと実際のギャップを軽減するサイドチューニング機能バックボーンや、効果的なコストボリュームフィルタリングのための長距離コンテキスト推論など、スケーラビリティを強化するために多くのネットワークアーキテクチャコンポーネントを設計します。
。
これらのコンポーネントを組み合わせることで、ドメイン全体にわたる強力な堅牢性と精度が実現され、ゼロショット ステレオ深度推定の新しい標準が確立されます。

要約(オリジナル)

Tremendous progress has been made in deep stereo matching to excel on benchmark datasets through per-domain fine-tuning. However, achieving strong zero-shot generalization – a hallmark of foundation models in other computer vision tasks – remains challenging for stereo matching. We introduce FoundationStereo, a foundation model for stereo depth estimation designed to achieve strong zero-shot generalization. To this end, we first construct a large-scale (1M stereo pairs) synthetic training dataset featuring large diversity and high photorealism, followed by an automatic self-curation pipeline to remove ambiguous samples. We then design a number of network architecture components to enhance scalability, including a side-tuning feature backbone that adapts rich monocular priors from vision foundation models to mitigate the sim-to-real gap, and long-range context reasoning for effective cost volume filtering. Together, these components lead to strong robustness and accuracy across domains, establishing a new standard in zero-shot stereo depth estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google