Gloss-Free End-to-End Sign Language Translation

要約

この論文では、光沢注釈を使用しない手話翻訳 (SLT) の問題に取り組みます。
光沢のような中間表現は効果的であることが証明されていますが、光沢の注釈は、特に大量に取得するのが困難です。
これにより、翻訳データセットの対象となるドメインが制限され、現実世界のアプリケーションに障害が生じます。
この問題を軽減するために、Gloss-Free エンドツーエンド手話翻訳フレームワーク (GloFE) を設計します。
私たちの方法は、記号の共通の基礎的な意味論と対応する音声翻訳を利用することにより、光沢なし設定での SLT のパフォーマンスを向上させます。
共通の概念がテキストから抽出され、弱い形式の中間表現として使用されます。
これらの概念のグローバルな埋め込みは、学習された視覚特徴内の対応する情報を見つけるためのクロスアテンションのクエリとして使用されます。
対照的な方法で、そのような概念を含むサンプル間のクエリ結果の類似性を高め、含まないサンプルを減らします。
OpenASL や How2Sign などの大規模データセットで最先端の結果が得られました。
コードとモデルは https://github.com/HenryLittle/GloFE で入手できます。

要約(オリジナル)

In this paper, we tackle the problem of sign language translation (SLT) without gloss annotations. Although intermediate representation like gloss has been proven effective, gloss annotations are hard to acquire, especially in large quantities. This limits the domain coverage of translation datasets, thus handicapping real-world applications. To mitigate this problem, we design the Gloss-Free End-to-end sign language translation framework (GloFE). Our method improves the performance of SLT in the gloss-free setting by exploiting the shared underlying semantics of signs and the corresponding spoken translation. Common concepts are extracted from the text and used as a weak form of intermediate representation. The global embedding of these concepts is used as a query for cross-attention to find the corresponding information within the learned visual features. In a contrastive manner, we encourage the similarity of query results between samples containing such concepts and decrease those that do not. We obtained state-of-the-art results on large-scale datasets, including OpenASL and How2Sign. The code and model will be available at https://github.com/HenryLittle/GloFE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google