Machine Translation from Signed to Spoken Languages: State of the Art and Challenges

要約

タイトル：手話から口話言語への機械翻訳：現状と課題

要約：
– 手話から口話に自動翻訳することは、コンピュータビジョン、機械翻訳、言語学の交差領域に位置する。しかし、この分野の研究は大半がコンピュータ科学者によって孤立して行われている。
– この領域の研究がますます人気になっている中で、我々は関連する学問領域のいくつかの必要な背景を示すために、手話言語学と機械翻訳の高レベルの入門を行う。そして、総説を行って研究領域の最新の情報と、将来の研究のためのいくつかの課題を提案する。
– 工夫によって、口話言語翻訳研究の手法によって重要な進歩が達成されている。しかし、現在のアプローチはしばしば言語的動機付けがないか、また手話言語の異なる入力形式に適応されていない。
– 手話データの表現、データセットの収集、全方位的な研究、研究から応用への要件に関する課題について探究する。以上の結果をもとに、今後の研究において手話言語の言語分析を基盤とする多分野の研究を提唱する。
– さらに、手話言語翻訳のユーザーであり、経験した要件を生かして研究やデータ収集のアイデンティティに組み入れ、有用な手話言語翻訳モデルの作成のために最も重要な要素であることを発見し、手話言語翻訳モデルの反復的なヒューマンインザーループの設計と開発を推奨する。

要約(オリジナル)

Automatic translation from signed to spoken languages is an interdisciplinary research domain, lying on the intersection of computer vision, machine translation and linguistics. Nevertheless, research in this domain is performed mostly by computer scientists in isolation. As the domain is becoming increasingly popular – the majority of scientific papers on the topic of sign language translation have been published in the past three years – we provide an overview of the state of the art as well as some required background in the different related disciplines. We give a high-level introduction to sign language linguistics and machine translation to illustrate the requirements of automatic sign language translation. We present a systematic literature review to illustrate the state of the art in the domain and then, harking back to the requirements, lay out several challenges for future research. We find that significant advances have been made on the shoulders of spoken language machine translation research. However, current approaches are often not linguistically motivated or are not adapted to the different input modality of sign languages. We explore challenges related to the representation of sign language data, the collection of datasets, the need for interdisciplinary research and requirements for moving beyond research, towards applications. Based on our findings, we advocate for interdisciplinary research and to base future research on linguistic analysis of sign languages. Furthermore, the inclusion of deaf and hearing end users of sign language translation applications in use case identification, data collection and evaluation is of the utmost importance in the creation of useful sign language translation models. We recommend iterative, human-in-the-loop, design and development of sign language translation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI