Adverse Weather Optical Flow: Cumulative Homogeneous-Heterogeneous Adaptation

要約

オプティカル フローは、きれいなシーンでは大きな進歩を遂げましたが、悪天候下では、オプティカル フローの明るさの一定性と勾配の連続性の仮定に違反するため、性能が低下します。
通常、既存の方法は主にドメイン適応を採用し、1 段階の適応を通じてクリーンなドメインから劣化したドメインにモーション知識を転送します。
ただし、クリーンなドメインと実際に劣化したドメインの間には、悪天候やシーン スタイルによる大きなギャップが存在するため、この直接適応は効果的ではありません。
さらに、劣化したドメイン自体内であっても、静的な天候 (霧など) と動的な天候 (雨など) はオプティカル フローに異なる影響を与えます。
上記の問題に対処するために、クリーンなドメインと実際の劣化ドメインの間の中間ブリッジとして合成劣化ドメインを探索し、実際の悪天候オプティカル フローに対する累積的な同種-異種適応フレームワークを提案します。
特に、クリーン劣化した転送の場合、私たちの重要な洞察は、静的な天候はシーンの固有の動きを変えない深度関連の均一な特徴を備えているのに対し、動的天候はさらに不均一な特徴を導入し、その結果ワープに重大な境界の不一致が生じるということです。
クリーンなドメインと劣化したドメインの間のエラー。
合成と現実の転送では、コスト量の相関が合成ドメインと現実の劣化ドメイン間で同様の統計ヒストグラムを共有し、合成と現実の知識の蒸留のための均質な相関分布を全体的に調整するのに有益であることがわかりました。
この統一されたフレームワークの下で、提案された方法は、きれいなシーンから実際の悪天候に知識を段階的かつ明示的に転送できます。
さらに、手動で注釈を付けたオプティカル フロー ラベルを含む実際の悪天候データセットをさらに収集し、提案された方法の優位性を検証するために広範な実験を実行します。

要約(オリジナル)

Optical flow has made great progress in clean scenes, while suffers degradation under adverse weather due to the violation of the brightness constancy and gradient continuity assumptions of optical flow. Typically, existing methods mainly adopt domain adaptation to transfer motion knowledge from clean to degraded domain through one-stage adaptation. However, this direct adaptation is ineffective, since there exists a large gap due to adverse weather and scene style between clean and real degraded domains. Moreover, even within the degraded domain itself, static weather (e.g., fog) and dynamic weather (e.g., rain) have different impacts on optical flow. To address above issues, we explore synthetic degraded domain as an intermediate bridge between clean and real degraded domains, and propose a cumulative homogeneous-heterogeneous adaptation framework for real adverse weather optical flow. Specifically, for clean-degraded transfer, our key insight is that static weather possesses the depth-association homogeneous feature which does not change the intrinsic motion of the scene, while dynamic weather additionally introduces the heterogeneous feature which results in a significant boundary discrepancy in warp errors between clean and degraded domains. For synthetic-real transfer, we figure out that cost volume correlation shares a similar statistical histogram between synthetic and real degraded domains, benefiting to holistically aligning the homogeneous correlation distribution for synthetic-real knowledge distillation. Under this unified framework, the proposed method can progressively and explicitly transfer knowledge from clean scenes to real adverse weather. In addition, we further collect a real adverse weather dataset with manually annotated optical flow labels and perform extensive experiments to verify the superiority of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google