LLA-FLOW: A Lightweight Local Aggregation on Cost Volume for Optical Flow Estimation

要約

タイトル: 光学フロー推定のためのコストボリュームに対する軽量なローカル集約のLLA-FLOW

要約:
– マッチングに不足しているテクスチャーは、光学フロー推定タスクで重要な課題となる。
– 一部の方法では、スタックされたトランスフォーマモジュールを挿入し、グローバル情報を使うことで推定する。
– しかし、グローバル情報の集約はトレーニングとインファレンス中に深刻なメモリと時間のコストを引き起こすため、デプロイメントが妨げられる。
– 伝統的なローカル領域の制約からインスピレーションを得て、ローカル類似度集計（LSA）とシフトされたローカル類似度集計（SLSA）を設計した。
– コストボリュームの集計は、特徴マップに作用する軽量なモジュールで実装される。
– Sintelの最終パスの実験では、競争力のあるパフォーマンスを維持しながら、従来の方法よりも低コストで実現することができた。

要点:
– 光学フロー推定タスクで、マッチングに不足しているテクスチャーは重要な課題。
– スタックトランスフォーマモジュールを挿入するグローバル情報の使用は時間とメモリのコストが高い。
– ローカル領域の制約から得たインスピレーションは、ローカル類似度集計（LSA）とシフトされたローカル類似度集計（SLSA）を設計するためのもの。
– 軽量なモジュールを使用して、特徴マップに作用することでコストボリュームの集計を行う。
– Sintelの最終パスの実験では、競争力のあるパフォーマンスを維持しながら、従来の方法よりも低コストで実現することができた。

要約(オリジナル)

Lack of texture often causes ambiguity in matching, and handling this issue is an important challenge in optical flow estimation tasks. Some methods insert stacked transformer modules that allow the network to use global information of cost volume for estimation. But the global information aggregation often incurs serious memory and time costs during training and inference, which hinders model deployment. We draw inspiration from the traditional local region constraint and design the local similarity aggregation (LSA) and the shifted local similarity aggregation (SLSA). The aggregation for cost volume is implemented with lightweight modules that act on the feature maps. Experiments on the final pass of Sintel show the lower cost required for our approach while maintaining competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI