Ham2Pose: Animating Sign Language Notation into Pose Sequences

要約

【タイトル】
Ham2Pose：手話表記をポーズシークエンスにアニメーション化する

【要約】
・聴覚障害者と聴覚がある人々との間でのオープンなコミュニケーションのために、口語を手話に翻訳することは必要である。
・これを達成するために、我々は、HamNoSysというレキシカルな手話表記に書かれたテキストを、署名されたポーズシークエンスにアニメーション化する最初の方法を提案する。
・HamNoSysが設計上普遍的であるため、我々の提案された方法は、ターゲットの手話に関係なく汎用的な解決策を提供する。
・我々の方法は、テキストとポーズの意味のある表現を生成しながら、空間的および時間的情報を考慮したトランスフォーマーエンコーダを使用して、ポーズの予測を段階的に生成する。
・トレーニングプロセスにおいて、弱い監視を使用し、部分的および不正確なデータから学習することに成功した。
・さらに、DTW-MJEを使用してポーズシークエンス間の距離を測定するために、欠落したキーポイントを考慮する新しい距離測定を提供する。AUTSLという大規模な手話データセットを用いてその正確性を検証し、既存の測定よりもポーズシークエンス間の距離をより正確に測定することができ、生成されたポーズシークエンスの品質を評価するために利用される。
・データの前処理、モデル、および距離測定のコードは、将来の研究のために公開されている。

要約(オリジナル)

Translating spoken languages into Sign languages is necessary for open communication between the hearing and hearing-impaired communities. To achieve this goal, we propose the first method for animating a text written in HamNoSys, a lexical Sign language notation, into signed pose sequences. As HamNoSys is universal by design, our proposed method offers a generic solution invariant to the target Sign language. Our method gradually generates pose predictions using transformer encoders that create meaningful representations of the text and poses while considering their spatial and temporal information. We use weak supervision for the training process and show that our method succeeds in learning from partial and inaccurate data. Additionally, we offer a new distance measurement that considers missing keypoints, to measure the distance between pose sequences using DTW-MJE. We validate its correctness using AUTSL, a large-scale Sign language dataset, show that it measures the distance between pose sequences more accurately than existing measurements, and use it to assess the quality of our generated pose sequences. Code for the data pre-processing, the model, and the distance measurement is publicly released for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI