Better Sign Language Translation with Monolingual Data

要約

タイトル：モノリンガルデータを用いた手話翻訳の改善
要約：手話翻訳（SLT）システムは、しばしばビデオからグロス（V2G）認識とグロスからテキスト（G2T）翻訳によって構成され、ピボットグロスを介して大規模な対訳G2Tペアの利用に強く依存しています。しかしながら、ピボットグロスの手動注釈には、言葉を手話で表現する順序に従って書かれた単語の並びを示す、という問題があり、このためSLTのためのデータ不足が深刻化しています。この問題に対処するために、本論文では、大規模なターゲットの単一言語データを自動的に擬似グロスに転写するための単純で効率的なルール変換手法を提案しています。結果として、提案手法はSLTの性能を大幅に改善でき、特に2つのSLTベンチマークデータセットPHEONIX-WEATHER 2014TとASLG-PC12において、最先端の結果が得られました。コードはこちらのサイトで公開されています：https://github.com/pengr/Mono\_SLT.

要点：

– 手話翻訳（SLT）システムは、ビデオからグロス（V2G）認識とグロスからテキスト（G2T）翻訳によって構成される。
– SLTシステムは、大規模な対訳G2Tペアの利用に強く依存している。
– ピボットグロスの手動注釈には、言葉を手話で表現する順序に従って書かれた単語の並びを示す、という問題がある。
– 提案手法では、大規模なターゲットの単一言語データを自動的に擬似グロスに転写するための単純で効率的なルール変換手法を提案している。
– 提案手法は、SLTの性能を大幅に改善でき、特に2つのSLTベンチマークデータセットPHEONIX-WEATHER 2014TとASLG-PC12において、最先端の結果が得られた。
– コードはこちらのサイトで公開されている：https://github.com/pengr/Mono\_SLT。

要約(オリジナル)

Sign language translation (SLT) systems, which are often decomposed into video-to-gloss (V2G) recognition and gloss-to-text (G2T) translation through the pivot gloss, heavily relies on the availability of large-scale parallel G2T pairs. However, the manual annotation of pivot gloss, which is a sequence of transcribed written-language words in the order in which they are signed, further exacerbates the scarcity of data for SLT. To address this issue, this paper proposes a simple and efficient rule transformation method to transcribe the large-scale target monolingual data into its pseudo glosses automatically for enhancing the SLT translation. Empirical results show that the proposed approach can significantly improve the performance of SLT, especially achieving state-of-the-art results on two SLT benchmark datasets PHEONIX-WEATHER 2014T and ASLG-PC12. Our code has been released at: https://github.com/pengr/Mono\_SLT.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI