Fingerspelling within Sign Language Translation

要約

指の綴りは、その高頻度の動作とオープンな語彙の用語に使用されるため、手話処理に課題をもたらします。
これまでの研究では指綴りの認識が研究されてきましたが、手話翻訳モデルが文全体の文脈で指綴りをどの程度理解できるかを評価し、この機能を改善することにはほとんど注目されていませんでした。
FLEURS-ASL 内の指綴りのインスタンスに手動で注釈を付け、それらを使用して、アメリカ手話から英語への翻訳における指綴りの認識を向上させるための 2 つの簡単な対策の効果を評価します。 1) サブワード レベルではなく文字レベルでモデル ファミリ (ByT5) を使用します。
トークン化、2) 指綴り認識データを翻訳トレーニング混合物に混合します。
1) は指綴りの理解 (したがって全体的な翻訳品質) を大幅に向上させますが、2) の効果は複合的であることがわかりました。

要約(オリジナル)

Fingerspelling poses challenges for sign language processing due to its high-frequency motion and use for open-vocabulary terms. While prior work has studied fingerspelling recognition, there has been little attention to evaluating how well sign language translation models understand fingerspelling in the context of entire sentences — and improving this capability. We manually annotate instances of fingerspelling within FLEURS-ASL and use them to evaluate the effect of two simple measures to improve fingerspelling recognition within American Sign Language to English translation: 1) use a model family (ByT5) with character- rather than subword-level tokenization, and 2) mix fingerspelling recognition data into the translation training mixture. We find that 1) substantially improves understanding of fingerspelling (and therefore translation quality overall), but the effect of 2) is mixed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google