Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting

要約

この論文では、音声言語と手話言語の間の新しい機械翻訳 (MT) システムに関する研究を紹介します。手話言語は、手話言語ライティング システムである SignWriting で表されます。
私たちの仕事は、現在の MT システムにおける手話言語のすぐに使用できるサポートの欠如に対処することを目指しており、話し言葉のテキストと SignWriting コンテンツのペアを含む SignBank データセットに基づいています。
ニューラルファクタリング MT からのアイデアを活用して、SignWriting を解析、因数分解、デコード、および評価するための新しい方法を紹介します。
アメリカ手話から（アメリカの）英語への翻訳というバイリンガル設定では、私たちの方法は 30 以上の BLEU を達成し、2 つの多言語設定では、話し言葉と手話の間で双方向に翻訳し、20 以上の BLEU を達成しました。
話し言葉の翻訳を改善するために使用される一般的な MT 技術は、手話の翻訳のパフォーマンスにも同様に影響することがわかりました。
これらの調査結果は、手話言語の中間テキスト表現を使用して自然言語処理研究に含めることを検証しています。

要約(オリジナル)

This paper presents work on novel machine translation (MT) systems between spoken and signed languages, where signed languages are represented in SignWriting, a sign language writing system. Our work seeks to address the lack of out-of-the-box support for signed languages in current MT systems and is based on the SignBank dataset, which contains pairs of spoken language text and SignWriting content. We introduce novel methods to parse, factorize, decode, and evaluate SignWriting, leveraging ideas from neural factored MT. In a bilingual setup–translating from American Sign Language to (American) English–our method achieves over 30 BLEU, while in two multilingual setups–translating in both directions between spoken languages and signed languages–we achieve over 20 BLEU. We find that common MT techniques used to improve spoken language translation similarly affect the performance of sign language translation. These findings validate our use of an intermediate text representation for signed languages to include them in natural language processing research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google