Select and Reorder: A Novel Approach for Neural Sign Language Production

要約

手話は低リソース言語に分類されることが多いですが、注釈付きの並列データセットが不足しているため、正確な翻訳を達成する上で大きな課題に直面しています。
このホワイト ペーパーでは、翻訳プロセスを 2 つの異なるステップ (光沢選択 (GS) と光沢再順序付け (GR)) に分割することで、データ不足に対処する新しいアプローチである選択と並べ替え (S&R) を紹介します。
私たちの方法では、大規模な音声言語モデルと、ソース音声言語とターゲット手話の間の大幅な語彙の重複を利用して、初期の整合性を確立します。
どちらのステップでも、非自動回帰 (NAR) デコーディングを利用して、計算量を削減し、推論速度を高速化します。
このタスクの絡み合いの解消を通じて、Meine DGS Annotated (mDGS) データセットで最先端の BLEU スコアと Rouge スコアを達成し、Text to Gloss (T2G) 翻訳で 37.88% という大幅な BLUE-1 改善を実証しました。
この革新的なアプローチは、リソースに制約のある環境でも、手話のより効果的な翻訳モデルへの道を開きます。

要約(オリジナル)

Sign languages, often categorised as low-resource languages, face significant challenges in achieving accurate translation due to the scarcity of parallel annotated datasets. This paper introduces Select and Reorder (S&R), a novel approach that addresses data scarcity by breaking down the translation process into two distinct steps: Gloss Selection (GS) and Gloss Reordering (GR). Our method leverages large spoken language models and the substantial lexical overlap between source spoken languages and target sign languages to establish an initial alignment. Both steps make use of Non-AutoRegressive (NAR) decoding for reduced computation and faster inference speeds. Through this disentanglement of tasks, we achieve state-of-the-art BLEU and Rouge scores on the Meine DGS Annotated (mDGS) dataset, demonstrating a substantial BLUE-1 improvement of 37.88% in Text to Gloss (T2G) Translation. This innovative approach paves the way for more effective translation models for sign languages, even in resource-constrained settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google