Efficient Machine Translation Corpus Generation

要約

この論文では、機械翻訳 (MT) コーパス生成のための人間参加型ポスト編集のための効率的かつ半自動化された方法を提案します。
この方法は、言語学者が事後編集を実行しながら、カスタム MT 品質推定メトリクスをオンザフライでオンライン トレーニングすることに基づいています。
オンライン推定機能は、ポスト編集のために悪い仮説を優先し、ポスト編集を行わずに最良の仮説を自動的にクローズするために使用されます。
このようにして、人間の関与が減り、結果としてポストエディットの品質が大幅に向上し、コストが低くなります。
訓練された推定者は、編集後のオンライン健全性チェック メカニズムも提供し、追加の言語学者が編集をレビューしたり、同じ仮説に取り組んだりする必要をなくすことができます。
この論文では、仮説をランダムにスケジューリングする場合と比較して、提案された方法による優先順位付けが結果として得られる MT コーパスの品質に及ぼす影響を示します。
実験によって実証されているように、提案された方法は、再トレーニングに使用される MT コーパスを拡張するために最も重要である本番サンプルと仮説に言語学者の努力を集中させることで、MT モデルのライフサイクルを改善します。

要約(オリジナル)

This paper proposes an efficient and semi-automated method for human-in-the-loop post-editing for machine translation (MT) corpus generation. The method is based on online training of a custom MT quality estimation metric on-the-fly as linguists perform post-edits. The online estimator is used to prioritize worse hypotheses for post-editing, and auto-close best hypotheses without post-editing. This way, significant improvements can be achieved in the resulting quality of post-edits at a lower cost due to reduced human involvement. The trained estimator can also provide an online sanity check mechanism for post-edits and remove the need for additional linguists to review them or work on the same hypotheses. In this paper, the effect of prioritizing with the proposed method on the resulting MT corpus quality is presented versus scheduling hypotheses randomly. As demonstrated by experiments, the proposed method improves the lifecycle of MT models by focusing the linguist effort on production samples and hypotheses, which matter most for expanding MT corpora to be used for re-training them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google