Exploring Human-Like Translation Strategy with Large Language Models

要約

大規模言語モデル (LLM) は、一般的なシナリオで優れた機能を実証し、人間レベルの知能に近づき、ある面ではそれを超えるレベルの適性を示します。
LLM の数あるスキルの中でも、LLM の翻訳能力は大きな注目を集めています。
ソースとターゲットのマッピングのみに焦点を当てた従来の機械翻訳とは対照的に、LLM ベースの翻訳は、高品質の翻訳を保証するために多くの準備手順を必要とする人間の翻訳プロセスを潜在的に模倣することができます。
この研究は、Multi-Aspect Prompting and Selection の略である MAPS フレームワークを提案することで、この可能性を探ることを目的としています。
具体的には、LLM がまず指定されたソース テキストを分析し、翻訳関連の知識の 3 つの側面 (キーワード、トピック、翻訳プロセスをガイドするための関連デモンストレーション) を抽出できるようにします。
ノイズが多く役に立たない知識をフィルタリングするために、品質推定に基づいた選択メカニズムを採用しています。
実験によると、MAPS は、最新の WMT22 テスト セットからの 8 つの翻訳方向において、text-davinci-003 および Alpaca に比べて大幅かつ一貫した改善をもたらします。
私たちのさらなる分析により、抽出された知識は、翻訳における幻覚ミスの最大 59% を解決するのに重要であることがわかりました。
コードは https://github.com/zwhe99/MAPS-mt で入手できます。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive capabilities in general scenarios, exhibiting a level of aptitude that approaches, in some aspects even surpasses, human-level intelligence. Among their numerous skills, the translation abilities of LLMs have received considerable attention. In contrast to traditional machine translation that focuses solely on source-target mapping, LLM-based translation can potentially mimic the human translation process that takes many preparatory steps to ensure high-quality translation. This work aims to explore this possibility by proposing the MAPS framework, which stands for Multi-Aspect Prompting and Selection. Specifically, we enable LLMs to first analyze the given source text and extract three aspects of translation-related knowledge: keywords, topics and relevant demonstrations to guide the translation process. To filter out the noisy and unhelpful knowledge, we employ a selection mechanism based on quality estimation. Experiments suggest that MAPS brings significant and consistent improvements over text-davinci-003 and Alpaca on eight translation directions from the latest WMT22 test sets. Our further analysis shows that the extracted knowledge is critical in resolving up to 59% of hallucination mistakes in translation. Code is available at https://github.com/zwhe99/MAPS-mt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google