Investigating on RLHF methodology

要約

この記事では、人間の好みに応じた大規模言語モデルの調整について調査します。
人間の好みをシミュレートする好みモデルのトレーニングの特徴と、最良の結果を達成するために不可欠であることがわかった方法と詳細について説明します。
また、強化学習を使用して大規模言語モデルを微調整することについても説明し、直面した課題とそれらを克服する方法についても説明します。
さらに、個別の好みモデルを作成することなく、大規模言語モデルを人間の好みに合わせることができる直接好み最適化手法の経験を紹介します。
私たちの貢献として、パープレキシティ フィルターを通じて好みのデータセットを収集するアプローチを紹介します。これにより、特定の言語モデル用にそのようなデータセットを作成するプロセスがはるかに簡単になり、コスト効率が高くなります。

要約(オリジナル)

In this article, we investigate the alignment of Large Language Models according to human preferences. We discuss the features of training a Preference Model, which simulates human preferences, and the methods and details we found essential for achieving the best results. We also discuss using Reinforcement Learning to fine-tune Large Language Models and describe the challenges we faced and the ways to overcome them. Additionally, we present our experience with the Direct Preference Optimization method, which enables us to align a Large Language Model with human preferences without creating a separate Preference Model. As our contribution, we introduce the approach for collecting a preference dataset through perplexity filtering, which makes the process of creating such a dataset for a specific Language Model much easier and more cost-effective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google