ProtoRes: Proto-Residual Network for Pose Authoring via Learned Inverse Kinematics

要約

私たちの仕事は、高度な AI 支援アニメーション ツールのための人間のポーズの学習可能なニューラル表現の開発に焦点を当てています。
具体的には、まばらで可変的なユーザー入力 (身体関節のサブセットの位置や向きなど) に基づいて、完全に静的な人間のポーズを構築するという問題に取り組みます。
この問題を解決するために、残差接続と部分的に指定されたポーズのプロトタイプ エンコーディングを組み合わせて、学習した潜在空間から新しい完全なポーズを作成する新しいニューラル アーキテクチャを提案します。
私たちのアーキテクチャは、精度と計算効率の両方の点で、Transformer に基づくベースラインよりも優れていることを示しています。
さらに、リアルタイム 3D 開発プラットフォームである Unity にニューラル モデルを統合するためのユーザー インターフェイスを開発しています。
さらに、高品質の人間のモーション キャプチャ データに基づいて、静的な人間のポーズ モデリングの問題を表す 2 つの新しいデータセットを紹介します。これらは、モデル コードと共に公開されます。

要約(オリジナル)

Our work focuses on the development of a learnable neural representation of human pose for advanced AI assisted animation tooling. Specifically, we tackle the problem of constructing a full static human pose based on sparse and variable user inputs (e.g. locations and/or orientations of a subset of body joints). To solve this problem, we propose a novel neural architecture that combines residual connections with prototype encoding of a partially specified pose to create a new complete pose from the learned latent space. We show that our architecture outperforms a baseline based on Transformer, both in terms of accuracy and computational efficiency. Additionally, we develop a user interface to integrate our neural model in Unity, a real-time 3D development platform. Furthermore, we introduce two new datasets representing the static human pose modeling problem, based on high-quality human motion capture data, which will be released publicly along with model code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google