Anti-LM Decoding for Zero-shot In-context Machine Translation

要約

ゼロショット インコンテキスト学習は、モデルが指示を与えるだけでタスクを実行できる現象です。
ただし、事前トレーニングされた大規模な言語モデルは、このタスクに対して十分に調整されていないことが知られています。
このバイアスに対処するための最も効果的なアプローチの 1 つは、対照的なデコード目標を採用することです。これは、何らかのコンテキストを条件付けすることによって、次のトークンを生成する事前確率を考慮します。
この研究では、インコンテキスト機械翻訳の弱点に対処するために設計された減衰係数を備えた反言語モデル目標を導入しています。
私たちは、3 つのモデル タイプとサイズ、3 つの言語方向、および貪欲なデコードとビーム サーチの両方にわたって実験を実施します ($B=5$)。
提案された方法は他の最先端の復号化目標を上回り、一部の設定で観察されたデフォルトの目標から最大 $20$ BLEU ポイントの改善が見られます。

要約(オリジナル)

Zero-shot In-context learning is the phenomenon where models can perform the task simply given the instructions. However, pre-trained large language models are known to be poorly calibrated for this task. One of the most effective approaches to handling this bias is to adopt a contrastive decoding objective, which accounts for the prior probability of generating the next token by conditioning on some context. This work introduces an Anti-Language Model objective with a decay factor designed to address the weaknesses of In-context Machine Translation. We conduct our experiments across 3 model types and sizes, 3 language directions, and for both greedy decoding and beam search ($B=5$). The proposed method outperforms other state-of-art decoding objectives, with up to $20$ BLEU point improvement from the default objective observed in some settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google