Morpho-Aware Global Attention for Image Matting

要約

ビジョン トランスフォーマー (ViT) と畳み込みニューラル ネットワーク (CNN) は、画像のマット化、特に微細構造の詳細の保存において固有の課題に直面しています。
ViT は、自己注意メカニズムによって全体的な受容野が有効になっているため、髪の毛などの局所的な詳細が失われることがよくあります。
逆に、CNN は局所的な受容野の制約を受け、グローバルなコンテキストを近似するためにより深い層に依存しますが、より深い層で微細な構造を保持するのに苦労します。
これらの制限を克服するために、微細構造の形態を効果的に捕捉するように設計された、新しい Morpho-Aware Global Attendant (MAGA) メカニズムを提案します。
MAGA は、テトリスに似た畳み込みパターンを使用して微細構造の局所形状を位置合わせし、形態学的詳細に対する感度を維持しながら、最適な局所対応を確保します。
抽出されたローカル形態情報はクエリ エンベディングとして使用され、グローバル キー エンベディングに投影されて、より広範なコンテキストでローカルの詳細が強調されます。
その後、MAGA は、値の埋め込みに投影することにより、これらの強調された形態学的詳細を統一されたグローバル構造にシームレスに統合します。
このアプローチにより、MAGA は局所的な形態に同時に焦点を当て、これらの詳細を一貫した全体に統合し、微細構造を効果的に保存することができます。
広範な実験により、当社の MAGA ベースの ViT は大幅なパフォーマンス向上を達成し、2 つのベンチマーク全体で最先端の手法を上回り、SAD で 4.3%、MSE で平均 39.5% の改善を示したことが示されています。

要約(オリジナル)

Vision Transformers (ViTs) and Convolutional Neural Networks (CNNs) face inherent challenges in image matting, particularly in preserving fine structural details. ViTs, with their global receptive field enabled by the self-attention mechanism, often lose local details such as hair strands. Conversely, CNNs, constrained by their local receptive field, rely on deeper layers to approximate global context but struggle to retain fine structures at greater depths. To overcome these limitations, we propose a novel Morpho-Aware Global Attention (MAGA) mechanism, designed to effectively capture the morphology of fine structures. MAGA employs Tetris-like convolutional patterns to align the local shapes of fine structures, ensuring optimal local correspondence while maintaining sensitivity to morphological details. The extracted local morphology information is used as query embeddings, which are projected onto global key embeddings to emphasize local details in a broader context. Subsequently, by projecting onto value embeddings, MAGA seamlessly integrates these emphasized morphological details into a unified global structure. This approach enables MAGA to simultaneously focus on local morphology and unify these details into a coherent whole, effectively preserving fine structures. Extensive experiments show that our MAGA-based ViT achieves significant performance gains, outperforming state-of-the-art methods across two benchmarks with average improvements of 4.3% in SAD and 39.5% in MSE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google