ViTMatte: Boosting Image Matting with Pretrained Plain Vision Transformers

要約

最近、プレーン ビジョン トランスフォーマー (ViT) は、強力なモデリング能力と大規模な事前トレーニングのおかげで、さまざまなコンピューター ビジョン タスクで優れたパフォーマンスを示しています。
しかし、画像のマット化の問題はまだ解決されていません。
我々は、画像マット化も ViT によって促進される可能性があると仮説を立て、ViTMatte と呼ばれる新しい効率的で堅牢な ViT ベースのマット化システムを提案します。
私たちの方法は、(i) 畳み込みネックと組み合わせたハイブリッド アテンション メカニズムを利用して、ViT がマッティング タスクにおいて優れたパフォーマンスと計算のトレードオフを達成できるようにします。
(ii) さらに、マッティングに必要な詳細情報を補完する単純な軽量の畳み込みだけで構成されるディテール キャプチャ モジュールを導入します。
私たちの知る限り、ViTMatte は、簡潔な適応により画像マット化における ViT の可能性を解き放った最初の作品です。
ViT からマッティングまで、さまざまな事前トレーニング戦略、簡潔なアーキテクチャ設計、柔軟な推論戦略など、多くの優れた特性を継承しています。
私たちは、画像マット化に最も一般的に使用されるベンチマークである、Composition-1k および Distinctions-646 で ViTMatte を評価します。私たちの方法は、最先端のパフォーマンスを達成し、以前のマット化作業を大幅に上回ります。

要約(オリジナル)

Recently, plain vision Transformers (ViTs) have shown impressive performance on various computer vision tasks, thanks to their strong modeling capacity and large-scale pretraining. However, they have not yet conquered the problem of image matting. We hypothesize that image matting could also be boosted by ViTs and present a new efficient and robust ViT-based matting system, named ViTMatte. Our method utilizes (i) a hybrid attention mechanism combined with a convolution neck to help ViTs achieve an excellent performance-computation trade-off in matting tasks. (ii) Additionally, we introduce the detail capture module, which just consists of simple lightweight convolutions to complement the detailed information required by matting. To the best of our knowledge, ViTMatte is the first work to unleash the potential of ViT on image matting with concise adaptation. It inherits many superior properties from ViT to matting, including various pretraining strategies, concise architecture design, and flexible inference strategies. We evaluate ViTMatte on Composition-1k and Distinctions-646, the most commonly used benchmark for image matting, our method achieves state-of-the-art performance and outperforms prior matting works by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google