Word Alignment as Preference for Machine Translation

要約

機械翻訳 (MT) における長年の問題である幻覚と省略の問題は、MT で大規模言語モデル (LLM) が使用される場合に、LLM 自体がこれらの現象の影響を受けやすいため、より顕著になります。
この研究では、LLM ベースの MT モデルをより適切な単語アライメントに誘導することで問題を軽減します。
まず、MT における単語のアライメントと幻覚および省略の現象との相関を研究します。
次に、LLM ベースの MT モデルを最適化するために、優先的に単語アライメントを利用することを提案します。
選好データは、複数の MT ツールから選択された翻訳と拒否された翻訳を選択することによって構築されます。
その後、直接優先最適化を使用して、LLM ベースのモデルを優先信号に合わせて最適化します。
MT における幻覚と省略のために特別に設計された評価器が存在しないことを考慮して、ハード インスタンスを選択し、GPT-4 を利用して、これらの問題を軽減するモデルのパフォーマンスを直接評価することをさらに提案します。
これらの設計された評価方法の合理性を実験によって検証し、その後、幻覚や省略を軽減するための単語アライメントに基づく嗜好最適化の有効性を実証する広範な結果が続きます。

要約(オリジナル)

The problem of hallucination and omission, a long-standing problem in machine translation (MT), is more pronounced when a large language model (LLM) is used in MT because an LLM itself is susceptible to these phenomena. In this work, we mitigate the problem in an LLM-based MT model by guiding it to better word alignment. We first study the correlation between word alignment and the phenomena of hallucination and omission in MT. Then we propose to utilize word alignment as preference to optimize the LLM-based MT model. The preference data are constructed by selecting chosen and rejected translations from multiple MT tools. Subsequently, direct preference optimization is used to optimize the LLM-based model towards the preference signal. Given the absence of evaluators specifically designed for hallucination and omission in MT, we further propose selecting hard instances and utilizing GPT-4 to directly evaluate the performance of the models in mitigating these issues. We verify the rationality of these designed evaluation methods by experiments, followed by extensive results demonstrating the effectiveness of word alignment-based preference optimization to mitigate hallucination and omission.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google