Exploring Human-Like Translation Strategy with Large Language Models

要約

大規模言語モデル (LLM) は、一般的なシナリオで優れた機能を実証し、人間レベルの知能に近づき、ある面ではそれを超えるレベルの適性を示します。
LLM の数あるスキルの中でも、LLM の翻訳能力は大きな注目を集めています。
ソースからターゲットへのマッピングのみに焦点を当てた一般的な機械翻訳と比較して、LLM ベースの翻訳は人間の翻訳プロセスを模倣する可能性があり、高品質の翻訳を保証するための準備手順が必要となる場合があります。
この研究では、Multi-Aspect Prompting and Selection の略である MAPS フレームワークを提案することで、この可能性を探ります。
具体的には、LLM が最初に指定されたソース文を分析し、翻訳関連の知識の 3 つの側面 (キーワード、トピック、および最終的な翻訳プロセスをガイドするための関連デモンストレーション) を導き出せるようにします。
さらに、品質推定に基づいた選択メカニズムを採用して、ノイズの多い役に立たない知識を除外します。
自動 (3 LLM x 11 方向 x 2 自動メトリクス) と人間による評価 (好みの調査と MQM) の両方で、MAPS の有効性が実証されています。
さらに分析したところ、MAPS は人間の翻訳プロセスを模倣することで、幻覚、あいまいさ、誤訳、ぎこちないスタイル、未翻訳テキスト、省略などのさまざまな翻訳エラーを軽減していることがわかりました。
ソースコードは https://github.com/zwhe99/MAPS-mt で入手できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive capabilities in general scenarios, exhibiting a level of aptitude that approaches, in some aspects even surpasses, human-level intelligence. Among their numerous skills, the translation abilities of LLMs have received considerable attention. Compared to typical machine translation that focuses solely on source-to-target mapping, LLM-based translation can potentially mimic the human translation process which might take preparatory steps to ensure high-quality translation. This work explores this possibility by proposing the MAPS framework, which stands for Multi-Aspect Prompting and Selection. Specifically, we enable LLMs first to analyze the given source sentence and induce three aspects of translation-related knowledge: keywords, topics, and relevant demonstrations to guide the final translation process. Moreover, we employ a selection mechanism based on quality estimation to filter out noisy and unhelpful knowledge. Both automatic (3 LLMs x 11 directions x 2 automatic metrics) and human evaluation (preference study and MQM) demonstrate the effectiveness of MAPS. Further analysis shows that by mimicking the human translation process, MAPS reduces various translation errors such as hallucination, ambiguity, mistranslation, awkward style, untranslated text, and omission. Source code is available at https://github.com/zwhe99/MAPS-mt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google