ARFlow: Human Action-Reaction Flow Matching with Physical Guidance

要約

因果的な人間の相互作用をモデル化する際の基本的な課題である人間の行動反応統合は、仮想現実から社会的ロボット工学に至るまでのアプリケーションで重要な役割を果たします。
拡散ベースのモデルは有望なパフォーマンスを実証していますが、相互作用合成のための2つの重要な制限を示します。複雑な条件付きメカニズムを備えた複雑なノイズ間の発電機への依存と、生成された動きにおける頻繁な物理的違反です。
これらの問題に対処するために、直接的なアクションから反応へのマッピングを確立する新しいフレームワークであるアクション反応フローマッチング（ARFLOW）を提案し、複雑な条件付きメカニズムの必要性を排除します。
私たちのアプローチでは、サンプリング中に体の浸透アーチファクトを効果的に防止するフローマッチング（FM）のために特別に設計された物理的なガイダンスメカニズムを導入します。
さらに、従来のフローマッチングサンプリングアルゴリズムのバイアスを発見し、再注入方法を採用してFMのサンプリング方向を修正します。
反応の多様性をさらに強化するために、サンプリングプロセスにランダム性を組み込みます。
NTU120、CHI3D、およびHUMANデータセットの広範な実験は、ARFLOWが、fre \ ‘echetの開始距離と運動の多様性の観点から既存の方法を上回るだけでなく、新しい交差容積と交差周波数メトリックによって測定されるように、身体の衝突を大幅に削減することを示しています。

要約(オリジナル)

Human action-reaction synthesis, a fundamental challenge in modeling causal human interactions, plays a critical role in applications ranging from virtual reality to social robotics. While diffusion-based models have demonstrated promising performance, they exhibit two key limitations for interaction synthesis: reliance on complex noise-to-reaction generators with intricate conditional mechanisms, and frequent physical violations in generated motions. To address these issues, we propose Action-Reaction Flow Matching (ARFlow), a novel framework that establishes direct action-to-reaction mappings, eliminating the need for complex conditional mechanisms. Our approach introduces a physical guidance mechanism specifically designed for Flow Matching (FM) that effectively prevents body penetration artifacts during sampling. Moreover, we discover the bias of traditional flow matching sampling algorithm and employ a reprojection method to revise the sampling direction of FM. To further enhance the reaction diversity, we incorporate randomness into the sampling process. Extensive experiments on NTU120, Chi3D and InterHuman datasets demonstrate that ARFlow not only outperforms existing methods in terms of Fr\’echet Inception Distance and motion diversity but also significantly reduces body collisions, as measured by our new Intersection Volume and Intersection Frequency metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google