How Does Pretraining Improve Discourse-Aware Translation?

要約

事前トレーニング済み言語モデル (PLM) は、談話認識ニューラル機械翻訳 (NMT) に大幅な改善をもたらしました。たとえば、音声言語翻訳の一貫性が向上しました。
しかし、彼らの好調な業績の根本的な理由は十分に説明されていません。
このギャップを埋めるために、PLM が談話関係の知識を捕捉する能力を解釈する調査タスクを導入します。
エンコーダー、デコーダー、エンコーダー – デコーダー ベースのモデルにわたる 3 つの最先端の PLM を検証します。
分析の結果、(1) 談話モデリングにおける PLM の能力はアーキテクチャやレイヤーによって異なることがわかりました。
(2) テキスト内の談話要素は、PLM にとってさまざまな学習の困難につながります。
さらに、音声言語の翻訳に対するさまざまな PLM の影響を調査します。
IWSLT2017 中国語-英語データセットの実験を通じて、PLM の異なるレイヤーから初期化された NMT モデルがプローブ タスクと同じ傾向を示すことを経験的に明らかにしました。
私たちの調査結果は、PLM における談話の知識が下流のタスクにいつどのように機能するかを理解する上で有益です。

要約(オリジナル)

Pretrained language models (PLMs) have produced substantial improvements in discourse-aware neural machine translation (NMT), for example, improved coherence in spoken language translation. However, the underlying reasons for their strong performance have not been well explained. To bridge this gap, we introduce a probing task to interpret the ability of PLMs to capture discourse relation knowledge. We validate three state-of-the-art PLMs across encoder-, decoder-, and encoder-decoder-based models. The analysis shows that (1) the ability of PLMs on discourse modelling varies from architecture and layer; (2) discourse elements in a text lead to different learning difficulties for PLMs. Besides, we investigate the effects of different PLMs on spoken language translation. Through experiments on IWSLT2017 Chinese-English dataset, we empirically reveal that NMT models initialized from different layers of PLMs exhibit the same trends with the probing task. Our findings are instructive to understand how and when discourse knowledge in PLMs should work for downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google