FlowFormer: A Transformer Architecture for Optical Flow

要約

オプティカル フローを学習するためのトランスフォーマー ベースのニューラル ネットワーク アーキテクチャである、FlowFormer と呼ばれるオプティカル フロー トランスフォーマーを紹介します。
FlowFormer は、画像ペアから構築された 4D コスト ボリュームをトークン化し、コスト トークンを新しい潜在空間の代替群変換器 (AGT) レイヤーを使用してコスト メモリにエンコードし、動的な位置コスト クエリを使用して再帰型変換デコーダを介してコスト メモリをデコードします。
.
Sintel ベンチマークでは、FlowFormer はクリーン パスと最終パスで 1.159 と 2.088 の平均エンドポイント エラー (AEPE) を達成し、公開されている最良の結果 (1.388 と 2.47) から 16.5% と 15.5% のエラー削減を達成しました。
さらに、FlowFormer は強力な一般化パフォーマンスも実現します。
Sintel でトレーニングを受けていない FlowFormer は、Sintel トレーニング セットのクリーン パスで 1.01 AEPE を達成し、公開されている最高の結果 (1.29) を 21.7% 上回っています。

要約(オリジナル)

We introduce optical Flow transFormer, dubbed as FlowFormer, a transformer-based neural network architecture for learning optical flow. FlowFormer tokenizes the 4D cost volume built from an image pair, encodes the cost tokens into a cost memory with alternate-group transformer (AGT) layers in a novel latent space, and decodes the cost memory via a recurrent transformer decoder with dynamic positional cost queries. On the Sintel benchmark, FlowFormer achieves 1.159 and 2.088 average end-point-error (AEPE) on the clean and final pass, a 16.5% and 15.5% error reduction from the best published result (1.388 and 2.47). Besides, FlowFormer also achieves strong generalization performance. Without being trained on Sintel, FlowFormer achieves 1.01 AEPE on the clean pass of Sintel training set, outperforming the best published result (1.29) by 21.7%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google