Establishing a Unified Evaluation Framework for Human Motion Generation: A Comparative Analysis of Metrics

要約

人間の動作を生成するための生成人工知能の開発は急速に拡大しており、統一された評価フレームワークが必要になっています。
このペーパーでは、人間の動作生成に関する 8 つの評価指標の詳細なレビューを示し、その独自の特徴と欠点を強調します。
私たちは、一貫したモデルの比較を容易にするために、統一された評価設定を通じて標準化された実践を提案します。
さらに、ワーピング多様性を分析することで時間歪みの多様性を評価する新しい指標を導入し、それによって時間データの評価を強化します。
また、公開されているデータセットを使用して 3 つの生成モデルの実験分析を実施し、特定のケース シナリオにおける各指標の解釈についての洞察を提供します。
私たちの目標は、公的にアクセス可能なコードによって補完された、初心者向けに明確でユーザーフレンドリーな評価フレームワークを提供することです。

要約(オリジナル)

The development of generative artificial intelligence for human motion generation has expanded rapidly, necessitating a unified evaluation framework. This paper presents a detailed review of eight evaluation metrics for human motion generation, highlighting their unique features and shortcomings. We propose standardized practices through a unified evaluation setup to facilitate consistent model comparisons. Additionally, we introduce a novel metric that assesses diversity in temporal distortion by analyzing warping diversity, thereby enhancing the evaluation of temporal data. We also conduct experimental analyses of three generative models using a publicly available dataset, offering insights into the interpretation of each metric in specific case scenarios. Our goal is to offer a clear, user-friendly evaluation framework for newcomers, complemented by publicly accessible code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google