Dissecting In-Context Learning of Translations in GPTs

要約

機械翻訳 (MT) に GPT-3 などの大規模言語モデル (LLM) を活用する最近の研究のほとんどは、プロンプト用の数ショットのサンプルを選択することに焦点を当てています。
この研究では、高品質のドメイン内デモンストレーションの摂動​​を通じて、翻訳のコンテキスト内学習におけるデモンストレーション属性の役割をより深く理解しようとしています。
ソースとターゲットのマッピングの非対称摂動が大きく異なる結果を生み出すことがわかりました。
ソース側の摂動は驚くほど影響が少ないのに対し、ターゲットの摂動は翻訳の品質を大幅に低下させる可能性があることを示し、翻訳のコンテキスト内学習中に最も重要な学習信号を提供するのは出力テキストの分布であることを示唆しています。
この信号を Zero-Shot プロンプトに自動的に追加する、Zero-Shot-Context という名前の方法を提案します。
我々は、GPT-3 のゼロショット翻訳パフォーマンスが向上し、数ショットのプロンプト翻訳と競合できることを実証します。

要約(オリジナル)

Most of the recent work in leveraging Large Language Models (LLMs) such as GPT-3 for Machine Translation (MT) has focused on selecting the few-shot samples for prompting. In this work, we try to better understand the role of demonstration attributes for the in-context learning of translations through perturbations of high-quality, in-domain demonstrations. We find that asymmetric perturbation of the source-target mappings yield vastly different results. We show that the perturbation of the source side has surprisingly little impact, while target perturbation can drastically reduce translation quality, suggesting that it is the output text distribution that provides the most important learning signal during in-context learning of translations. We propose a method named Zero-Shot-Context to add this signal automatically in Zero-Shot prompting. We demonstrate that it improves upon the zero-shot translation performance of GPT-3, even making it competitive with few-shot prompted translations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google