Jump Starting Bandits with LLM-Generated Prior Knowledge

要約

私たちは、大規模言語モデル (LLM) をコンテキスト マルチアーム バンディット フレームワークと統合することの利点を示す実質的な証拠を示します。
コンテキスト バンディットは、ユーザー固有のコンテキストに基づいてパーソナライズされた提案を生成するレコメンデーション システムで広く使用されています。
私たちは、人間の知識と好みが豊富な広範なコーパスで事前訓練された LLM が、人間の行動を十分にシミュレートして、状況に応じた多腕盗賊を即座に起動させ、オンライン学習の後悔を減らすことができることを示します。
我々は、LLM にバンディットに対する人間のおおよその好みの事前トレーニング データセットを生成するよう促すことにより、コンテキスト バンディットの初期化アルゴリズムを提案します。
これにより、オンライン学習の後悔と、そのようなモデルをトレーニングするためのデータ収集コストが大幅に削減されます。
私たちのアプローチは、異なるバンディット設定での 2 セットの実験を通じて経験的に検証されています。1 つはオラクルとして機能する LLM を利用する実験、もう 1 つはコンジョイント調査実験からのデータを利用する現実世界の実験です。

要約(オリジナル)

We present substantial evidence demonstrating the benefits of integrating Large Language Models (LLMs) with a Contextual Multi-Armed Bandit framework. Contextual bandits have been widely used in recommendation systems to generate personalized suggestions based on user-specific contexts. We show that LLMs, pre-trained on extensive corpora rich in human knowledge and preferences, can simulate human behaviours well enough to jump-start contextual multi-armed bandits to reduce online learning regret. We propose an initialization algorithm for contextual bandits by prompting LLMs to produce a pre-training dataset of approximate human preferences for the bandit. This significantly reduces online learning regret and data-gathering costs for training such models. Our approach is validated empirically through two sets of experiments with different bandit setups: one which utilizes LLMs to serve as an oracle and a real-world experiment utilizing data from a conjoint survey experiment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google