Sign Language Production with Latent Motion Transformer

要約

手話制作 (SLP) は、手話を手話ビデオに変えるという難しい作業です。
SLP の主な目的は、サイン グロスを使用してこれらのビデオを作成することです。
この研究では、中間ステップとして人間のポーズを使用せずに、高品質の手話ビデオを作成する新しい方法を開発しました。
私たちのモデルは 2 つの主要な部分で動作します。まず、ジェネレーターとビデオの隠れた特徴から学習し、次に、別のモデルを使用してこれらの隠れた特徴の順序を理解します。
この方法を署名ビデオでさらに優れたものにするために、いくつかの重要な改良を加えました。
(i) 最初の段階では、改良された 3D VQ-GAN を使用して、ダウンサンプリングされた潜在表現を学習します。
(ii) 第 2 段階では、条件付き情報をより有効に活用するためにシーケンス間の注意を導入します。
(iii) 分離された 2 段階のトレーニングでは、第 2 段階の潜在コードの現実的な視覚的意味論が破棄されます。
潜在シーケンスに意味情報を与えるために、視覚による以前のモデルの知覚損失と再構築損失を伴うトークンレベルの自己回帰潜在コード学習を拡張します。
以前の最先端のアプローチと比較して、私たちのモデルは 2 つの単語レベルの手話データセット、つまり WLASL と NMFs-CSL で一貫して優れたパフォーマンスを発揮します。

要約(オリジナル)

Sign Language Production (SLP) is the tough task of turning sign language into sign videos. The main goal of SLP is to create these videos using a sign gloss. In this research, we’ve developed a new method to make high-quality sign videos without using human poses as a middle step. Our model works in two main parts: first, it learns from a generator and the video’s hidden features, and next, it uses another model to understand the order of these hidden features. To make this method even better for sign videos, we make several significant improvements. (i) In the first stage, we take an improved 3D VQ-GAN to learn downsampled latent representations. (ii) In the second stage, we introduce sequence-to-sequence attention to better leverage conditional information. (iii) The separated two-stage training discards the realistic visual semantic of the latent codes in the second stage. To endow the latent sequences semantic information, we extend the token-level autoregressive latent codes learning with perceptual loss and reconstruction loss for the prior model with visual perception. Compared with previous state-of-the-art approaches, our model performs consistently better on two word-level sign language datasets, i.e., WLASL and NMFs-CSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google