Sign Language Sense Disambiguation

要約

このプロジェクトでは、特に同音異義語の曖昧さの解消に焦点を当てて、ドイツ手話の手話翻訳を強化する方法を検討します。
手話は曖昧で研究が不足しており、それが私たちの実験の基礎となっています。
さまざまな身体部分表現でトランスフォーマー ベースのモデルをトレーニングし、その身体部分に焦点を移すことで改善に取り組みます。
たとえば手や口の表現の影響を判断するために、さまざまな組み合わせを実験します。
結果は、口に焦点を当てると小さなデータセット設定ではパフォーマンスが向上する一方、手に焦点を移すとより大きなデータセット設定ではより良い結果が得られることを示しています。
私たちの結果は、デジタル アシスタントを駆動するシステムを改善し、より正確な対話を可能にすることで、聴覚障害者のアクセシビリティの向上に貢献します。
このプロジェクトのコードは GitHub にあります。

要約(オリジナル)

This project explores methods to enhance sign language translation of German sign language, specifically focusing on disambiguation of homonyms. Sign language is ambiguous and understudied which is the basis for our experiments. We approach the improvement by training transformer-based models on various bodypart representations to shift the focus on said bodypart. To determine the impact of, e.g., the hand or mouth representations, we experiment with different combinations. The results show that focusing on the mouth increases the performance in small dataset settings while shifting the focus on the hands retrieves better results in larger dataset settings. Our results contribute to better accessibility for non-hearing persons by improving the systems powering digital assistants, enabling a more accurate interaction. The code for this project can be found on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google