M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models

要約

自然言語処理 (NLP) の分野で大規模言語モデル (LLM) が広く適用されるようになったことで、そのパフォーマンスの向上が研究のホットスポットになっています。
この論文では、複数のプロンプトからの結果の集約を活用して LLM の生成品質を強化するように設計された、新しいマルチプロンプト アンサンブル デコード アプローチを紹介します。
一意の入力 $X$ が与えられると、$X$ を使用したプロンプトの $n$ 個のバリエーションをバッチ モードで LLM に送信し、デコードして確率分布を導き出します。
各トークン予測について、バッチ内の $n$ 確率分布を平均することによってアンサンブル確率を計算し、この集約された確率を利用してトークンを生成します。
この手法はインナーバッチ アンサンブルと呼ばれます。
効率的なバッチ推論を促進するために、n 個のプロンプト全体で均一な入力長を維持するための Left-Padding 戦略を実装します。
機械翻訳、コード生成、テキストの簡略化など、さまざまな NLP タスクに関する広範な実験を通じて、LLM のパフォーマンスを向上させる方法の有効性を実証しました。
結果は、従来の方法と比較して、BLEU スコア、pass@$k$ 率、LENS メトリクスが大幅に向上していることを示しています。

要約(オリジナル)

With the widespread application of Large Language Models (LLMs) in the field of Natural Language Processing (NLP), enhancing their performance has become a research hotspot. This paper presents a novel multi-prompt ensemble decoding approach designed to bolster the generation quality of LLMs by leveraging the aggregation of outcomes from multiple prompts. Given a unique input $X$, we submit $n$ variations of prompts with $X$ to LLMs in batch mode to decode and derive probability distributions. For each token prediction, we calculate the ensemble probability by averaging the $n$ probability distributions within the batch, utilizing this aggregated probability to generate the token. This technique is dubbed Inner-Batch Ensemble. To facilitate efficient batch inference, we implement a Left-Padding strategy to maintain uniform input lengths across the n prompts. Through extensive experimentation on diverse NLP tasks, including machine translation, code generation, and text simplification, we demonstrate the efficacy of our method in enhancing LLM performance. The results show substantial improvements in BLEU scores, pass@$k$ rates, and LENS metrics over conventional methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google