Diverse Human Motion Prediction via Gumbel-Softmax Sampling from an Auxiliary Space

要約

多様な人間の動きの予測は、観察されたポーズのシーケンスから複数の可能な将来のポーズシーケンスを予測することを目的としています。
以前のアプローチでは、通常、深い生成ネットワークを使用してデータの条件付き分布をモデル化し、分布から結果をランダムにサンプリングします。
さまざまな結果を得ることができますが、それらは通常、十分に多様性がないものである可能性が最も高いものです。
最近の研究では、決定論的ネットワークを介して条件付き分布の複数のモードを明示的に学習していますが、限られた範囲内の固定数のモードしかカバーできません。
この論文では、深い生成モデルによって学習された不均衡なマルチモーダル分布から非常に多様な結果をサンプリングするための新しいサンプリング戦略を提案します。
私たちの方法は、補助空間を生成し、ターゲット分布からの多様なサンプリングと同等の補助空間からのランダムサンプリングをスマートに行うことによって機能します。
Gumbel-Softmax係数行列サンプリング法と積極的な多様性促進ヒンジ損失関数を組み込んだこの新しいサンプリング戦略を実装するシンプルで効果的なネットワークアーキテクチャを提案します。
広範な実験は、私たちの方法が以前の最先端のサンプリングアプローチと比較してサンプリングの多様性と精度の両方を大幅に改善することを示しています。
コードと事前トレーニング済みモデルは、https：//github.com/Droliven/diverse_samplingで入手できます。

要約(オリジナル)

Diverse human motion prediction aims at predicting multiple possible future pose sequences from a sequence of observed poses. Previous approaches usually employ deep generative networks to model the conditional distribution of data, and then randomly sample outcomes from the distribution. While different results can be obtained, they are usually the most likely ones which are not diverse enough. Recent work explicitly learns multiple modes of the conditional distribution via a deterministic network, which however can only cover a fixed number of modes within a limited range. In this paper, we propose a novel sampling strategy for sampling very diverse results from an imbalanced multimodal distribution learned by a deep generative model. Our method works by generating an auxiliary space and smartly making randomly sampling from the auxiliary space equivalent to the diverse sampling from the target distribution. We propose a simple yet effective network architecture that implements this novel sampling strategy, which incorporates a Gumbel-Softmax coefficient matrix sampling method and an aggressive diversity promoting hinge loss function. Extensive experiments demonstrate that our method significantly improves both the diversity and accuracy of the samplings compared with previous state-of-the-art sampling approaches. Code and pre-trained models are available at https://github.com/Droliven/diverse_sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google