PEDAL: Enhancing Greedy Decoding with Large Language Models using Diverse Exemplars

要約

Self-Consistency などの多様な推論パスを備えた自己アンサンブル手法により、大規模言語モデル (LLM) の精度が大幅に向上することが実証されています。
ただし、このような手法は、複数の出力を集計するための正確な回答抽出プロセスの利用可能性に依存します。
さらに、比較的多くの出力トークンが生成されるため、Greedy Decoding と比較して推論コストが高くなります。
研究によると、Self-Consistency からの自由形式のテキスト出力は、LLM を使用して確実に集約され、最終出力を生成できることが示されています。
さらに、LLM 推論の最近の進歩により、プロンプトで多様なサンプルを使用すると、LLM 出力の多様性を誘導できることが実証されました。
このような実績のある技術は、自己アンサンブル ベースのアプローチに簡単に拡張して、テキスト生成の結果を向上させることができます。
このペーパーでは、ハイブリッド自己アンサンブル アプローチである PEDAL (Prompts based on Exemplar Diversity Aggregated using LLMs) を紹介します。これは、多様なサンプル ベースのプロンプトと LLM ベースの集約の長所を組み合わせて、全体的なパフォーマンスの向上を実現します。
公開されている SVAMP および ARC データセットでの実験では、PEDAL が、自己一貫性ベースのアプローチと比較して推論コストが低く、貪欲デコードベースの戦略よりも高い精度を達成できることが明らかになりました。

要約(オリジナル)

Self-ensembling techniques with diverse reasoning paths such as Self-Consistency have demonstrated remarkable gains in accuracy for Large Language Models (LLMs). However, such techniques depend on the availability of an accurate answer extraction process to aggregate across multiple outputs. Moreover, they acquire higher inference cost, in comparison to Greedy Decoding, due to generation of relatively higher number of output tokens. Research has shown that the free form text outputs from Self-Consistency can be aggregated reliably using LLMs to produce the final output. Additionally, recent advancements in LLM inference have demonstrated that usage of diverse exemplars in prompts have the ability to induce diversity in the LLM outputs. Such proven techniques can be easily extended to self-ensembling based approaches to achieve enhanced results in text generation. In this paper, we introduce PEDAL (Prompts based on Exemplar Diversity Aggregated using LLMs), a hybrid self-ensembling approach, that combines the strengths of diverse exemplar based prompts and LLM based aggregation to achieve improvement in overall performance. On the publicly available SVAMP and ARC datasets, our experiments reveal that PEDAL can achieve better accuracy than Greedy Decoding based strategies with lower inference cost compared to Self Consistency based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google