Exploiting Optical Flow Guidance for Transformer-Based Video Inpainting

要約

変圧器は、マルチヘッド セルフ アテンション (MHSA) メカニズムにより、ビデオ処理に広く使用されています。
ただし、破損した領域に関連付けられている機能が低下し、不正確なセルフアテンションが発生するため、MHSA メカニズムはビデオの修復に固有の問題に遭遇します。
クエリの劣化と呼ばれるこの問題は、最初にオプティカル フローを完了し、フローを使用してセルフ アテンションを誘導することで軽減できます。
フローガイダンスをさらに活用し、より効果的かつ効率的なビデオ修復を追求するために FGT++ を提案します。
まず、ローカル アグリゲーションとエッジ ロスを使用して、軽量のフロー完了ネットワークを設計します。
次に、クエリの劣化に対処するために、動きの不一致を使用して機能を強化するフローガイダンス機能統合モジュールと、フローに従って機能をワープするフローガイド機能伝播モジュールを提案します。
3 番目に、トランスフォーマーを時間次元と空間次元に沿って分離します。ここでは、フローを使用して、時間的に変形可能な MHSA メカニズムを介してトークンを選択し、グローバル トークンをデュアル パースペクティブ MHSA メカニズムを介してウィンドウ内のローカル トークンと結合します。
FGT++ は、既存のビデオ修復ネットワークよりも質的および量的に優れていることが実験的に評価されています。

要約(オリジナル)

Transformers have been widely used for video processing owing to the multi-head self attention (MHSA) mechanism. However, the MHSA mechanism encounters an intrinsic difficulty for video inpainting, since the features associated with the corrupted regions are degraded and incur inaccurate self attention. This problem, termed query degradation, may be mitigated by first completing optical flows and then using the flows to guide the self attention, which was verified in our previous work – flow-guided transformer (FGT). We further exploit the flow guidance and propose FGT++ to pursue more effective and efficient video inpainting. First, we design a lightweight flow completion network by using local aggregation and edge loss. Second, to address the query degradation, we propose a flow guidance feature integration module, which uses the motion discrepancy to enhance the features, together with a flow-guided feature propagation module that warps the features according to the flows. Third, we decouple the transformer along the temporal and spatial dimensions, where flows are used to select the tokens through a temporally deformable MHSA mechanism, and global tokens are combined with the inner-window local tokens through a dual perspective MHSA mechanism. FGT++ is experimentally evaluated to be outperforming the existing video inpainting networks qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google