SEA-RAFT: Simple, Efficient, Accurate RAFT for Optical Flow

要約

オプティカル フロー向けの、よりシンプル、効率的、正確な RAFT である SEA-RAFT を紹介します。
RAFT と比較して、SEA-RAFT は新しい損失 (ラプラスの混合) で訓練されています。
初期フローを直接回帰して反復改良における収束を高速化し、剛体運動の事前トレーニングを導入して汎化を改善します。
SEA-RAFT は、Spring ベンチマークで 3.69 のエンドポイント誤差 (EPE) および 0.36 の 1 ピクセル外れ値率 (1px) という最先端の精度を達成しており、公開されている最良の結果から 22.9% および 17.8% の誤差削減を示しています。
さらに、SEA-RAFT は、KITTI と Spring で最良のクロスデータセット一般化を実現します。
SEA-RAFT は効率が高く、競争力のあるパフォーマンスを維持しながら、既存の方法より少なくとも 2.3 倍高速に動作します。
コードは https://github.com/princeton-vl/SEA-RAFT で公開されています。

要約(オリジナル)

We introduce SEA-RAFT, a more simple, efficient, and accurate RAFT for optical flow. Compared with RAFT, SEA-RAFT is trained with a new loss (mixture of Laplace). It directly regresses an initial flow for faster convergence in iterative refinements and introduces rigid-motion pre-training to improve generalization. SEA-RAFT achieves state-of-the-art accuracy on the Spring benchmark with a 3.69 endpoint-error (EPE) and a 0.36 1-pixel outlier rate (1px), representing 22.9% and 17.8% error reduction from best published results. In addition, SEA-RAFT obtains the best cross-dataset generalization on KITTI and Spring. With its high efficiency, SEA-RAFT operates at least 2.3x faster than existing methods while maintaining competitive performance. The code is publicly available at https://github.com/princeton-vl/SEA-RAFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google