Advancing Text-to-GLOSS Neural Translation Using a Novel Hyper-parameter Optimization Technique

要約

この論文では、聴覚障害者とのコミュニケーションのためのテキストから GLOSS へのニューラル機械翻訳のためのトランスフォーマーの使用を調査します。
利用可能なデータが不足しており、テキストから GLOSS への翻訳に必要なリソースが限られているため、この問題はリソースが少ない言語タスクとして扱われます。
私たちは、新しいハイパーパラメータ探索技術を使用して、さまざまなアーキテクチャ パラメータを探索し、テキストから GLOSS への翻訳に特化した最適なトランスフォーマ ベースのアーキテクチャを構築します。
この研究は、ニューラル機械翻訳によって生成された GLOSS の精度と流暢性を向上させることを目的としています。
これは、レイヤー数、アテンション ヘッド、埋め込み次元、ドロップアウト、ラベル スムージングなどのさまざまなアーキテクチャ パラメーターを調べて、テキストから GLOSS への翻訳パフォーマンスを向上させる最適なアーキテクチャを特定することによって実現されます。
PHOENIX14T データセットに対して行われた実験により、最適なトランス アーキテクチャが同じデータセットに対する以前の研究よりも優れていることが明らかになりました。
最良のモデルは、ROUGE (要旨評価のための想起指向のアンダースタディ) スコア 55.18%、BLEU-1 (バイリンガル評価アンダースタディ 1) スコア 63.6% に達し、BLEU1 および ROUGE スコアに関する最先端の結果を上回っています。
それぞれ8.42と0.63増加しました。

要約(オリジナル)

In this paper, we investigate the use of transformers for Neural Machine Translation of text-to-GLOSS for Deaf and Hard-of-Hearing communication. Due to the scarcity of available data and limited resources for text-to-GLOSS translation, we treat the problem as a low-resource language task. We use our novel hyper-parameter exploration technique to explore a variety of architectural parameters and build an optimal transformer-based architecture specifically tailored for text-to-GLOSS translation. The study aims to improve the accuracy and fluency of Neural Machine Translation generated GLOSS. This is achieved by examining various architectural parameters including layer count, attention heads, embedding dimension, dropout, and label smoothing to identify the optimal architecture for improving text-to-GLOSS translation performance. The experiments conducted on the PHOENIX14T dataset reveal that the optimal transformer architecture outperforms previous work on the same dataset. The best model reaches a ROUGE (Recall-Oriented Understudy for Gisting Evaluation) score of 55.18% and a BLEU-1 (BiLingual Evaluation Understudy 1) score of 63.6%, outperforming state-of-the-art results on the BLEU1 and ROUGE score by 8.42 and 0.63 respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google