CTrGAN: Cycle Transformers GAN for Gait Transfer

要約

歩行移動の問題に初めて取り組むことを試みます。
モーション転送とは対照的に、ここでの目的は、ソースの通常のモーションを模倣することではなく、ソースのモーションをターゲットの典型的な歩行パターンに変換することです。
歩行認識モデルを使用して、既存の手法が簡単に検出できる不一致をもたらすことを示します。
ターゲットの自然な歩行をうまく生成できる新しいモデル、Cycle Transformers GAN（CTrGAN）を紹介します。
CTrGANのジェネレーターは、デコーダーとエンコーダー、両方ともトランスフォーマーで構成されており、パッチ間の空間ドメインではなく、完全な画像間の時間ドメインに注意が向けられています。
コンピュータビジョンにおける最近のTransformerの研究は主に識別タスクに焦点を当てていましたが、合成タスクに適用できるアーキテクチャを紹介します。
広く使用されている歩行認識データセットを使用して、トレーニング中に利用できなかったソースで使用した場合でも、私たちのアプローチが既存の方法よりも1桁以上現実的なパーソナライズされた歩行を生成できることを示します。

要約(オリジナル)

We attempt for the first time to address the problem of gait transfer. In contrast to motion transfer, the objective here is not to imitate the source’s normal motions, but rather to transform the source’s motion into a typical gait pattern for the target. Using gait recognition models, we demonstrate that existing techniques yield a discrepancy that can be easily detected. We introduce a novel model, Cycle Transformers GAN (CTrGAN), that can successfully generate the target’s natural gait. CTrGAN’s generators consist of a decoder and encoder, both Transformers, where the attention is on the temporal domain between complete images rather than the spatial domain between patches. While recent Transformer studies in computer vision mainly focused on discriminative tasks, we introduce an architecture that can be applied to synthesis tasks. Using a widely-used gait recognition dataset, we demonstrate that our approach is capable of producing over an order of magnitude more realistic personalized gaits than existing methods, even when used with sources that were not available during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google