AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback

要約

ChatGPT などの大規模言語モデル (LLM) は、強力な命令追従機能により広く採用されています。
これらの LLM の開発には、人間のフィードバックによるトレーニングが必要な、複雑だが十分に理解されていないワークフローが必要です。
この指示に従うことを再現して理解するには、データ収集のコストが高い、信頼できる評価の欠如、参照メソッドの実装がないという 3 つの大きな課題に取り組む必要があります。
私たちは、低コストでフィードバックから学ぶための研究開発を可能にするシミュレータ「AlpacaFarm」でこれらの課題を解決します。
まず、人間のフィードバックをシミュレートする LLM プロンプトを設計します。これはクラウドワーカーよりも 50 倍安価で、人間との高い一致を示します。
次に、自動評価を提案し、現実世界のインタラクションで得られた人間の指示に対してそれを検証します。
3 番目に、ペアごとのフィードバックから学習するいくつかのメソッド (PPO、DPO、best-of-n、エキスパート反復など) のリファレンス実装を提供します。
最後に、AlpacaFarm のエンドツーエンドの検証として、実際の人間のフィードバック 10,000 ペアで 11 個のモデルをトレーニングおよび評価し、AlpacaFarm でトレーニングされたモデルのランキングが人間のデータでトレーニングされたモデルのランキングと一致することを示します。
AlpacaFarm で可能な研究の実証として、報酬モデルを使用する方法は教師あり微調整よりも大幅に改善できること、および参照 PPO 実装により Davinci003 に対する勝率が +10% 向上することがわかりました。
AlpacaFarm のすべてのコンポーネントは https://github.com/tatsu-lab/alpaca_farm でリリースされます。

要約(オリジナル)

Large language models (LLMs) such as ChatGPT have seen widespread adoption due to their strong instruction-following abilities. Developing these LLMs involves a complex yet poorly understood workflow requiring training with human feedback. Replicating and understanding this instruction-following requires tackling three major challenges: the high cost of data collection, the lack of trustworthy evaluation, and the absence of reference method implementations. We address these challenges with AlpacaFarm, a simulator that enables research and development for learning from feedback at a low cost. First, we design LLM prompts to simulate human feedback that are 50x cheaper than crowdworkers and display high agreement with humans. Second, we propose an automatic evaluation and validate it against human instructions obtained on real-world interactions. Third, we contribute reference implementations for several methods (PPO, DPO, best-of-n, expert iteration, and more) that learn from pairwise feedback. Finally, as an end-to-end validation of AlpacaFarm, we train and evaluate eleven models on 10k pairs of real human feedback and show that rankings of models trained in AlpacaFarm match rankings of models trained on human data. As a demonstration of the research possible in AlpacaFarm, we find that methods that use a reward model can substantially improve over supervised fine-tuning and that our reference PPO implementation leads to a +10% improvement in win-rate against Davinci003. We release all components of AlpacaFarm at https://github.com/tatsu-lab/alpaca_farm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google