SEO: Stochastic Experience Optimization for Large Language Models

要約

大規模言語モデル (LLM) は、特定のタスクのパフォーマンスを向上させるために役立つエクスペリエンスから恩恵を受けることができます。
ただし、どのエクスペリエンスが特定の LLM に適しているかは不明であるため、さまざまな LLM に役立つエクスペリエンスを見つけることは明らかではありません。
これまでの研究は、LLM を使用して有用なエクスペリエンスを自動的に見つけることを目的としていましたが、得られたエクスペリエンスの有効性を保証することは困難でした。
この論文では、確率的エクスペリエンス最適化 (SEO) を提案します。これは、自然言語でのエクスペリエンスの更新を通じて、モデルのパラメーターを変更せずに最適化されたモデル固有のエクスペリエンスを見つける反復的なアプローチです。
SEO では、エクスペリエンスの更新方向を保証し、無駄な更新を回避するための確率的検証方法を提案します。
3 つの LLM の 3 つのタスクに関する実験結果は、SEO によって最適化されたエクスペリエンスが一貫してパフォーマンスの向上を達成できることを示しています。
さらなる分析により、SEO に最適化されたエクスペリエンスが分布外のデータに一般化され、同様のタスクにおける LLM のパフォーマンスが向上することが示されています。

要約(オリジナル)

Large Language Models (LLMs) can benefit from useful experiences to improve their performance on specific tasks. However, finding helpful experiences for different LLMs is not obvious, since it is unclear what experiences suit specific LLMs. Previous studies intended to automatically find useful experiences using LLMs, while it is difficult to ensure the effectiveness of the obtained experience. In this paper, we propose Stochastic Experience Optimization (SEO), an iterative approach that finds optimized model-specific experience without modifying model parameters through experience update in natural language. In SEO, we propose a stochastic validation method to ensure the update direction of experience, avoiding unavailing updates. Experimental results on three tasks for three LLMs demonstrate that experiences optimized by SEO can achieve consistently improved performance. Further analysis indicates that SEO-optimized experience can generalize to out-of-distribution data, boosting the performance of LLMs on similar tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google