Empowering Sign Language Communication: Integrating Sentiment and Semantics for Facial Expression Synthesis

要約

書かれた文章を口頭言語から一連の手動および非手動のジェスチャーに翻訳することは、聴覚障害者にとってより包括的な社会を構築する上で重要な役割を果たします。
特に、顔の表情 (手動ではないもの) は、話される文の文法をコード化し、句読点、代名詞、または強調記号を適用する役割を果たします。
これらの手動以外のジェスチャーは、話されている文の意味論と密接に関連しており、また話者の感情の発話にも密接に関連しています。
ただし、ほとんどの手話制作 (SLP) アプローチは、手動のジェスチャーを合成することに重点が置かれており、話者の表現をモデル化することに焦点を当てていません。
この論文では、手話用の表情の合成に焦点を当てた新しい手法を紹介します。
私たちの目標は、感情情報を表情の生成に統合することで手話の生成を改善することです。
このアプローチは、文の感情と意味論的特徴を活用して意味のある表現空間からサンプリングし、非手動コンポーネントのバイアスを手話生成プロセスに統合します。
私たちの方法を評価するために、Frechet Gesture Distance (FGD) を拡張し、Frechet Expression Distance (FED) と呼ばれる新しい指標を提案し、広範な指標セットを適用して顔の特定領域の品質を評価します。
実験結果は、私たちの方法が最先端技術を達成し、How2Sign および PHOENIX14T データセットの競合他社よりも優れていることを示しました。
さらに、私たちのアーキテクチャは慎重に設計されたグラフ ピラミッドに基づいており、よりシンプルでトレーニングが容易になり、感情を活用して表情を作り出すことができます。

要約(オリジナル)

Translating written sentences from oral languages to a sequence of manual and non-manual gestures plays a crucial role in building a more inclusive society for deaf and hard-of-hearing people. Facial expressions (non-manual), in particular, are responsible for encoding the grammar of the sentence to be spoken, applying punctuation, pronouns, or emphasizing signs. These non-manual gestures are closely related to the semantics of the sentence being spoken and also to the utterance of the speaker’s emotions. However, most Sign Language Production (SLP) approaches are centered on synthesizing manual gestures and do not focus on modeling the speakers expression. This paper introduces a new method focused in synthesizing facial expressions for sign language. Our goal is to improve sign language production by integrating sentiment information in facial expression generation. The approach leverages a sentence sentiment and semantic features to sample from a meaningful representation space, integrating the bias of the non-manual components into the sign language production process. To evaluate our method, we extend the Frechet Gesture Distance (FGD) and propose a new metric called Frechet Expression Distance (FED) and apply an extensive set of metrics to assess the quality of specific regions of the face. The experimental results showed that our method achieved state of the art, being superior to the competitors on How2Sign and PHOENIX14T datasets. Moreover, our architecture is based on a carefully designed graph pyramid that makes it simpler, easier to train, and capable of leveraging emotions to produce facial expressions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google