Evaluating and Improving the Coreference Capabilities of Machine Translation Models

要約

機械翻訳 (MT) には幅広い言語機能が必要であり、現在のエンド ツー エンド モデルは、バイリンガル コーパスで整列された文を観察することによって暗黙のうちに学習することが期待されています。
\emph{MT モデルは暗黙の信号から共参照解決をどの程度学習するのか?} この質問に答えるために、MT 出力から共参照クラスターを導出し、ターゲット言語で注釈を必要とせずにそれらを評価する評価方法論を開発します。
.
さらに、いくつかの著名なオープンソースおよび商用 MT システムを評価し、英語から 6 つのターゲット言語に翻訳し、3 つの挑戦的なベンチマークで最先端の相互参照リゾルバーと比較します。
私たちの結果は、単一言語リゾルバーが MT モデルよりも大幅に優れていることを示しています。
この結果に動機付けられて、相互参照解決モデルの出力を MT に組み込むためのさまざまな方法を実験し、強力なベースラインよりも改善を示しました。

要約(オリジナル)

Machine translation (MT) requires a wide range of linguistic capabilities, which current end-to-end models are expected to learn implicitly by observing aligned sentences in bilingual corpora. In this work, we ask: \emph{How well do MT models learn coreference resolution from implicit signal?} To answer this question, we develop an evaluation methodology that derives coreference clusters from MT output and evaluates them without requiring annotations in the target language. We further evaluate several prominent open-source and commercial MT systems, translating from English to six target languages, and compare them to state-of-the-art coreference resolvers on three challenging benchmarks. Our results show that the monolingual resolvers greatly outperform MT models. Motivated by this result, we experiment with different methods for incorporating the output of coreference resolution models in MT, showing improvement over strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google