Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors

要約

翻訳エラーに関する詳細な情報は、翻訳評価コミュニティに役立ちます。
既存のアプローチでは、エラーの位置とタイプを同期的に考慮することができず、両方のエラー情報を統合できません。
この論文では、与えられたソース仮説文ペアの翻訳エラーの位置とタイプの両方を識別することを目的として、Fine-Grained Translation Error Detection (FG-TED) タスクを提案します。
さらに、FG-TED モデルを構築して、\textbf{addition} および \textbf{omission} エラー (2 つの典型的な翻訳精度エラー) を予測します。
まず、単語レベルの分類パラダイムを使用してモデルを形成し、ショートカット学習削減を使用して単一言語機能の影響を軽減します。
さらに、モデル トレーニング用の合成データセットを構築し、信頼できるデータセットのデータ ラベル付けの不一致を緩和して、実験的ベンチマークを一致させます。
実験では、モデルがエラーの種類と位置の両方を同時に識別でき、復元されたデータセットで最先端の結果が得られることが示されています。
また、私たちのモデルは、既存のベースラインよりもリソースが少ないシナリオや転送シナリオで信頼性の高い予測を提供します。
関連するデータセットとソース コードは、今後公開される予定です。

要約(オリジナル)

Fine-grained information on translation errors is helpful for the translation evaluation community. Existing approaches can not synchronously consider error position and type, failing to integrate the error information of both. In this paper, we propose Fine-Grained Translation Error Detection (FG-TED) task, aiming at identifying both the position and the type of translation errors on given source-hypothesis sentence pairs. Besides, we build an FG-TED model to predict the \textbf{addition} and \textbf{omission} errors — two typical translation accuracy errors. First, we use a word-level classification paradigm to form our model and use the shortcut learning reduction to relieve the influence of monolingual features. Besides, we construct synthetic datasets for model training, and relieve the disagreement of data labeling in authoritative datasets, making the experimental benchmark concordant. Experiments show that our model can identify both error type and position concurrently, and gives state-of-the-art results on the restored dataset. Our model also delivers more reliable predictions on low-resource and transfer scenarios than existing baselines. The related datasets and the source code will be released in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google