Gender-specific Machine Translation with Large Language Models

要約

デコーダ専用の大規模言語モデル (LLM) は、従来のエンコーダ/デコーダのニューラル機械翻訳 (NMT) システムに比べてパフォーマンスが若干劣るものの、機械翻訳 (MT) における可能性を実証しています。
ただし、LLM には、プロンプトを通じて出力のプロパティを制御できるという独自の利点があります。
この研究では、この柔軟性を利用して、文法上の性別を持つ言語に対して性別固有の翻訳を生成する LLaMa の機能を調査します。
私たちの結果は、最先端の多言語 NMT システムである NLLB と比較して、LLaMa が競合する精度とジェンダーバイアスを軽減してジェンダー固有の翻訳を生成できることを示しています。
さらに、私たちの実験では、LLaMa の翻訳が堅牢であり、性別が曖昧なデータセット内の反対性別の参照に対して評価するとパフォーマンスが大幅に低下しますが、曖昧さの少ないコンテキストでは一貫性が維持されることが明らかになりました。
この研究は、性別固有の翻訳に LLM を使用する可能性と課題についての洞察を提供し、LLM で新しいタスクを引き出すための文脈内学習の重要性を強調しています。

要約(オリジナル)

Decoder-only Large Language Models (LLMs) have demonstrated potential in machine translation (MT), albeit with performance slightly lagging behind traditional encoder-decoder Neural Machine Translation (NMT) systems. However, LLMs offer a unique advantage: the ability to control the properties of the output through prompts. In this study, we harness this flexibility to explore LLaMa’s capability to produce gender-specific translations for languages with grammatical gender. Our results indicate that LLaMa can generate gender-specific translations with competitive accuracy and gender bias mitigation when compared to NLLB, a state-of-the-art multilingual NMT system. Furthermore, our experiments reveal that LLaMa’s translations are robust, showing significant performance drops when evaluated against opposite-gender references in gender-ambiguous datasets but maintaining consistency in less ambiguous contexts. This research provides insights into the potential and challenges of using LLMs for gender-specific translations and highlights the importance of in-context learning to elicit new tasks in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google