HalOmi: A Manually Annotated Benchmark for Multilingual Hallucination and Omission Detection in Machine Translation

要約

機械翻訳における幻覚とは、入力とはまったく関係のない情報が含まれる翻訳のことです。
省略とは、入力情報の一部が含まれていない翻訳です。
どちらのケースもユーザーの信頼を損なう致命的なエラーである傾向がありますが、この種の病理を含む注釈付きデータは非常に希少であり、少数の高リソース言語に限定されています。
この作業では、さまざまなリソース レベルとスクリプトで 18 の翻訳方向をカバーする、幻覚と省略現象の注釈付きデータセットをリリースします。
私たちの注釈は、部分的および完全な幻覚のさまざまなレベル、および文レベルと単語レベルの両方での省略をカバーしています。
さらに、幻覚と省略の検出に関する以前の方法を再検討し、単一の言語ペアに基づいて作成された結論は大規模な評価にはほとんど当てはまらないことを示し、新しい確実なベースラインを確立します。

要約(オリジナル)

Hallucinations in machine translation are translations that contain information completely unrelated to the input. Omissions are translations that do not include some of the input information. While both cases tend to be catastrophic errors undermining user trust, annotated data with these types of pathologies is extremely scarce and is limited to a few high-resource languages. In this work, we release an annotated dataset for the hallucination and omission phenomena covering 18 translation directions with varying resource levels and scripts. Our annotation covers different levels of partial and full hallucinations as well as omissions both at the sentence and at the word level. Additionally, we revisit previous methods for hallucination and omission detection, show that conclusions made based on a single language pair largely do not hold for a large-scale evaluation, and establish new solid baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google