KMM: Key Frame Mask Mamba for Extended Motion Generation

要約

人間のモーション生成は、生成的コンピュータービジョンの研究のカットエッジエリアであり、ビデオの作成、ゲーム開発、ロボット操作に有望なアプリケーションを備えています。
最近のMambaアーキテクチャは、長くて複雑なシーケンスを効率的にモデル化することで有望な結果を示していますが、2つの重要な課題が残っています。まず、暗黙のメモリの限られた容量が記憶崩壊につながるため、Mambaを拡張モーション生成に直接適用することは効果がありません。
第二に、マンバはトランスと比較してマルチモーダル融合に苦労し、テキストクエリとの整合性、しばしば混乱を招く方向（左または右）、または長いテキストクエリの一部を省略します。
これらの課題に対処するために、私たちの論文は3つの重要な貢献を示しています。まず、モーションセグメントの主要なアクションにMAMBAの焦点を強化するように設計されたキーフレームマスキングモデリングを特徴とする新しいアーキテクチャであるKMMを紹介します。
このアプローチは、メモリ減衰の問題に対処し、SSMで戦略的フレームレベルのマスキングをカスタマイズする際の先駆的な方法を表します。
さらに、MAMBAのマルチモーダル融合問題に対処し、モーションテキストアライメントを改善するための対照的な学習パラダイムを設計しました。
最後に、以前の方法と比較して、FIDで57％以上のFIDおよび70％のパラメーターを減らして、最先端のパフォーマンスを達成し、頼りになるデータセットで広範な実験を実施しました。
プロジェクトWebサイト：https：//steve-zeyu-zhang.github.io/kmmを参照してください

要約(オリジナル)

Human motion generation is a cut-edge area of research in generative computer vision, with promising applications in video creation, game development, and robotic manipulation. The recent Mamba architecture shows promising results in efficiently modeling long and complex sequences, yet two significant challenges remain: Firstly, directly applying Mamba to extended motion generation is ineffective, as the limited capacity of the implicit memory leads to memory decay. Secondly, Mamba struggles with multimodal fusion compared to Transformers, and lack alignment with textual queries, often confusing directions (left or right) or omitting parts of longer text queries. To address these challenges, our paper presents three key contributions: Firstly, we introduce KMM, a novel architecture featuring Key frame Masking Modeling, designed to enhance Mamba’s focus on key actions in motion segments. This approach addresses the memory decay problem and represents a pioneering method in customizing strategic frame-level masking in SSMs. Additionally, we designed a contrastive learning paradigm for addressing the multimodal fusion problem in Mamba and improving the motion-text alignment. Finally, we conducted extensive experiments on the go-to dataset, BABEL, achieving state-of-the-art performance with a reduction of more than 57% in FID and 70% parameters compared to previous state-of-the-art methods. See project website: https://steve-zeyu-zhang.github.io/KMM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google