MatAnyone: Stable Video Matting with Consistent Memory Propagation

要約

入力フレームのみに依存する補助のないヒューマン ビデオ マッティング手法は、複雑または曖昧な背景に苦戦することがよくあります。
これに対処するために、ターゲットに割り当てられたビデオ マッティングに合わせた堅牢なフレームワークである MatAnyone を提案します。
具体的には、メモリベースのパラダイムに基づいて、前のフレームからのメモリを適応的に統合する領域適応メモリ融合を介した一貫したメモリ伝播モジュールを導入します。
これにより、オブジェクト境界に沿ったきめ細かい詳細を維持しながら、コア領域のセマンティックな安定性が確保されます。
堅牢なトレーニングのために、ビデオ マッティング用に大規模で高品質で多様なデータセットを提供します。
さらに、大規模なセグメンテーション データを効率的に活用する新しいトレーニング戦略を組み込み、マットの安定性を高めます。
この新しいネットワーク設計、データセット、トレーニング戦略により、MatAnyone は現実世界の多様なシナリオで堅牢かつ正確なビデオ マッティング結果を提供し、既存の手法を上回るパフォーマンスを発揮します。

要約(オリジナル)

Auxiliary-free human video matting methods, which rely solely on input frames, often struggle with complex or ambiguous backgrounds. To address this, we propose MatAnyone, a robust framework tailored for target-assigned video matting. Specifically, building on a memory-based paradigm, we introduce a consistent memory propagation module via region-adaptive memory fusion, which adaptively integrates memory from the previous frame. This ensures semantic stability in core regions while preserving fine-grained details along object boundaries. For robust training, we present a larger, high-quality, and diverse dataset for video matting. Additionally, we incorporate a novel training strategy that efficiently leverages large-scale segmentation data, boosting matting stability. With this new network design, dataset, and training strategy, MatAnyone delivers robust and accurate video matting results in diverse real-world scenarios, outperforming existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google