Machine Translation with Large Language Models: Prompt Engineering for Persian, English, and Russian Directions

要約

生成大言語モデル (LLM) は、機械翻訳、質問応答、テキストの要約、自然言語理解など、さまざまな自然言語処理 (NLP) タスクにおいて優れた能力を発揮することが証明されています。
機械翻訳における LLM のパフォーマンスをさらに強化するために、ペルシャ語、英語、ロシア語の言語間の組み合わせに焦点を当て、2 つの一般的なプロンプト方法とその組み合わせについて調査を実施しました。
私たちは n ショット給餌とカスタマイズされたプロンプト フレームワークを採用しました。
私たちの調査結果は、PaLM のような多言語 LLM が人間のような機械翻訳出力を示し、スタイル ガイドラインや言語上の考慮事項に従って、必要な翻訳ニュアンスの優れた微調整を可能にすることを示しています。
これらのモデルは、プロンプトの処理と適用にも優れています。
ただし、プロンプトフレームワークを採用し、n ショットのコンテキスト内学習を利用する場合、言語モデル、機械翻訳タスク、および特定のソース言語とターゲット言語の選択について、一定の考慮が必要になります。
さらに、機械翻訳ツールとして一般的な LLM に固有のエラーと制限を特定し、さまざまな言語指標に基づいて分類しました。
このエラーの類型は、LLM を効果的に利用するための貴重な洞察を提供し、コンテキスト内学習のためのプロンプトを設計する方法を提供します。
私たちのレポートは、評価指標の精度と信頼性の両方を向上させることで、LLM を使用した機械翻訳の進歩に貢献することを目的としています。

要約(オリジナル)

Generative large language models (LLMs) have demonstrated exceptional proficiency in various natural language processing (NLP) tasks, including machine translation, question answering, text summarization, and natural language understanding. To further enhance the performance of LLMs in machine translation, we conducted an investigation into two popular prompting methods and their combination, focusing on cross-language combinations of Persian, English, and Russian. We employed n-shot feeding and tailored prompting frameworks. Our findings indicate that multilingual LLMs like PaLM exhibit human-like machine translation outputs, enabling superior fine-tuning of desired translation nuances in accordance with style guidelines and linguistic considerations. These models also excel in processing and applying prompts. However, the choice of language model, machine translation task, and the specific source and target languages necessitate certain considerations when adopting prompting frameworks and utilizing n-shot in-context learning. Furthermore, we identified errors and limitations inherent in popular LLMs as machine translation tools and categorized them based on various linguistic metrics. This typology of errors provides valuable insights for utilizing LLMs effectively and offers methods for designing prompts for in-context learning. Our report aims to contribute to the advancement of machine translation with LLMs by improving both the accuracy and reliability of evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google