FlowDA: Unsupervised Domain Adaptive Framework for Optical Flow Estimation

要約

現実世界のオプティカル フロー データセットを収集することは、ラベル付けのコストが高いため、非常に困難な課題です。
データセットが不足すると、オプティカル フロー モデルの現実世界のパフォーマンスが大幅に制約されます。
実際のシナリオに似た仮想データセットを構築すると、パフォーマンスを向上させる潜在的なソリューションが提供されますが、仮想データセットと現実のデータセットの間にはドメイン ギャップが存在します。
このペーパーでは、オプティカル フロー推定のための教師なしドメイン適応型 (UDA) フレームワークである FlowDA を紹介します。
FlowDA は、平均教師に基づく UDA アーキテクチャを採用し、教師なしオプティカル フロー推定の概念と技術を統合します。
さらに、トレーニングの効果を高めるために、カリキュラム学習に基づく適応カリキュラム重み付け (ACW) モジュールが提案されています。
実験結果は、当社の FlowDA が最先端の教師なしオプティカル フロー推定手法である SMURF を 21.6%、実際のオプティカル フロー データセット生成手法である MPI-Flow を 27.8%、オプティカル フロー推定適応手法である FlowSupervisor を 30.9% 上回っており、新しい機能を提供することを示しています。
現実世界のシナリオにおけるオプティカル フロー推定のパフォーマンスを向上させるための洞察。
コードはこの論文の公開後にオープンソース化される予定です。

要約(オリジナル)

Collecting real-world optical flow datasets is a formidable challenge due to the high cost of labeling. A shortage of datasets significantly constrains the real-world performance of optical flow models. Building virtual datasets that resemble real scenarios offers a potential solution for performance enhancement, yet a domain gap separates virtual and real datasets. This paper introduces FlowDA, an unsupervised domain adaptive (UDA) framework for optical flow estimation. FlowDA employs a UDA architecture based on mean-teacher and integrates concepts and techniques in unsupervised optical flow estimation. Furthermore, an Adaptive Curriculum Weighting (ACW) module based on curriculum learning is proposed to enhance the training effectiveness. Experimental outcomes demonstrate that our FlowDA outperforms state-of-the-art unsupervised optical flow estimation method SMURF by 21.6%, real optical flow dataset generation method MPI-Flow by 27.8%, and optical flow estimation adaptive method FlowSupervisor by 30.9%, offering novel insights for enhancing the performance of optical flow estimation in real-world scenarios. The code will be open-sourced after the publication of this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google