Toxicity in Multilingual Machine Translation at Scale

要約

タイトル：大規模多言語機械翻訳における毒性

要約：
– 機械翻訳システムは様々な種類のエラーを生み出すことがありますが、その中でも致命的なものがあります。本論文では、そのうちの一つである「毒性の追加」に焦点を当てます。
– 我々は、英語から164言語に翻訳した大規模評価データセット（HOLISTICBIAS – 13つの人口学的軸に対して472,000以上の文をカバー）において毒性の追加を評価・分析します。
– 自動毒性評価によると、言語ごとに毒性の追加は0％から5％まで様々です。毒性が最も高かった出力言語は低資源を持つものであり、毒性が最も高かった人口学的軸には性的指向、性別、障害が含まれます。
– 8つの翻訳方向のサブセットに対して人間による評価を行い、真の毒性追加の存在を確認しました。
– 毒性の原因を解釈するために、翻訳に対するソースの貢献度を測定し、貢献度が低い場合に幻覚が生じることを示しました。84％の言語では、ソースの貢献度が毒性と有意に相関していることを発見しました。
– その結果、トレーニングデータの不正確さを避けること、幻覚を軽減すること、不安定な翻訳を確認することなどを含む、毒性の追加を減らすための推奨事項が提供されています。

要約(オリジナル)

Machine Translation systems can produce different types of errors, some of which are characterized as critical or catastrophic due to the specific negative impact that they can have on users. In this paper we focus on one type of critical error: added toxicity. We evaluate and analyze added toxicity when translating a large evaluation dataset (HOLISTICBIAS, over 472k sentences, covering 13 demographic axes) from English into 164 languages. An automatic toxicity evaluation shows that added toxicity across languages varies from 0% to 5%. The output languages with the most added toxicity tend to be low-resource ones, and the demographic axes with the most added toxicity include sexual orientation, gender and sex, and ability. We also perform human evaluation on a subset of 8 translation directions, confirming the prevalence of true added toxicity. We use a measurement of the amount of source contribution to the translation, where a low source contribution implies hallucination, to interpret what causes toxicity. Making use of the input attributions allows us to explain toxicity, because the source contributions significantly correlate with toxicity for 84% of languages studied. Given our findings, our recommendations to reduce added toxicity are to curate training data to avoid mistranslations, mitigate hallucination and check unstable translations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI