Adaptive Few-shot Prompting for Machine Translation with Pre-trained Language Models

要約

近年、文脈内学習を用いた大規模言語モデル（Large Language Model: LLM）が、ニューラル機械翻訳の処理において顕著な可能性を示している。しかしながら、LLMはプロンプトに敏感であり、下流の機械翻訳タスクの入力に対して固定されたプロンプトを適用することは最適ではないことが既存の証拠から示されている。この問題に対処するため、我々は、より良い機械翻訳のためにLLMの翻訳能力をさらに引き出すために、様々な原文入力に対して適切な翻訳デモを自動的に選択する適応的少数ショットプロンプティング（AFSP）フレームワークを提案する。まず、LLMの埋め込みに基づく翻訳デモ検索モジュールを構築し、並列翻訳コーパスから意味的に類似した上位k個の翻訳デモを検索する。意味的な翻訳デモを検索するために他の埋め込みモデルを使用するのではなく、より多くの意味的な翻訳デモを検索するためのより良い入力表現を構築するために、配置されたLLMの埋め込みレイヤーを基にハイブリッドな翻訳デモ検索モジュールを構築する。そして、翻訳元入力と翻訳先出力の間の意味的整合性をより確実にするために、LLM自身に翻訳デモの助けを借りて翻訳先言語の複数の出力候補を生成させ、これらの候補を再ランク付けする。さらに、最新の言語における我々のAFSPフレームワークの有効性をより良く評価し、ニューラル機械翻訳の研究境界を拡張するために、5,528の中英並列文からなる高品質の外交中英並列データセットを構築する。最後に、提案した外交中英並列データセットと国連並列コーパス（中英部分）を用いた広範な実験により、提案したAFSPの有効性と優位性を示す。

要約(オリジナル)

Recently, Large language models (LLMs) with in-context learning have demonstrated remarkable potential in handling neural machine translation. However, existing evidence shows that LLMs are prompt-sensitive and it is sub-optimal to apply the fixed prompt to any input for downstream machine translation tasks. To address this issue, we propose an adaptive few-shot prompting (AFSP) framework to automatically select suitable translation demonstrations for various source input sentences to further elicit the translation capability of an LLM for better machine translation. First, we build a translation demonstration retrieval module based on LLM’s embedding to retrieve top-k semantic-similar translation demonstrations from aligned parallel translation corpus. Rather than using other embedding models for semantic demonstration retrieval, we build a hybrid demonstration retrieval module based on the embedding layer of the deployed LLM to build better input representation for retrieving more semantic-related translation demonstrations. Then, to ensure better semantic consistency between source inputs and target outputs, we force the deployed LLM itself to generate multiple output candidates in the target language with the help of translation demonstrations and rerank these candidates. Besides, to better evaluate the effectiveness of our AFSP framework on the latest language and extend the research boundary of neural machine translation, we construct a high-quality diplomatic Chinese-English parallel dataset that consists of 5,528 parallel Chinese-English sentences. Finally, extensive experiments on the proposed diplomatic Chinese-English parallel dataset and the United Nations Parallel Corpus (Chinese-English part) show the effectiveness and superiority of our proposed AFSP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL