Robust Synthetic-to-Real Transfer for Stereo Matching

要約

ドメイン汎用ステレオ マッチング ネットワークの進歩により、合成データで事前トレーニングされたモデルは、目に見えないドメインに対する強力な堅牢性を実証します。
ただし、現実のシナリオで微調整した後の堅牢性を調査した研究はほとんどなく、ドメイン汎化能力が大幅に低下する可能性があります。
この論文では、目に見えない領域に対する堅牢性を損なうことなく、ステレオ マッチング ネットワークを微調整する方法を検討します。
私たちの動機は、微調整のために Ground Truth (GT) と Pseudo Label (PL) を比較することにあります。GT は低下しますが、PL はドメイン汎化能力を維持します。
経験的に、GT と PL の違いは、微調整中にネットワークを正規化できる貴重な情報を意味していることがわかりました。
また、この違いを微調整に利用するための、凍結教師、指数移動平均 (EMA) 教師、および生徒ネットワークで構成されるフレームワークも提案します。
中心的なアイデアは、EMA Teacher を利用して生徒が学んだことを測定し、GT と PL を動的に改善して微調整することです。
私たちはフレームワークを最先端のネットワークと統合し、いくつかの実世界のデータセットでその有効性を評価します。
広範な実験により、私たちの方法が微調整中にドメイン汎化能力を効果的に維持することが示されました。

要約(オリジナル)

With advancements in domain generalized stereo matching networks, models pre-trained on synthetic data demonstrate strong robustness to unseen domains. However, few studies have investigated the robustness after fine-tuning them in real-world scenarios, during which the domain generalization ability can be seriously degraded. In this paper, we explore fine-tuning stereo matching networks without compromising their robustness to unseen domains. Our motivation stems from comparing Ground Truth (GT) versus Pseudo Label (PL) for fine-tuning: GT degrades, but PL preserves the domain generalization ability. Empirically, we find the difference between GT and PL implies valuable information that can regularize networks during fine-tuning. We also propose a framework to utilize this difference for fine-tuning, consisting of a frozen Teacher, an exponential moving average (EMA) Teacher, and a Student network. The core idea is to utilize the EMA Teacher to measure what the Student has learned and dynamically improve GT and PL for fine-tuning. We integrate our framework with state-of-the-art networks and evaluate its effectiveness on several real-world datasets. Extensive experiments show that our method effectively preserves the domain generalization ability during fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google