Chain of Hindsight Aligns Language Models with Feedback

要約

人間の好みから学ぶことは、言語モデルが人間にとって有用であり、人間と社会の価値観と一致するために重要です。
これまでの研究は、人間のフィードバックから学習して指示を理解し、従うことで、目覚ましい成功を収めてきました。
それにもかかわらず、これらの方法は、人間のアノテーターが好む厳選されたモデル生成に基づいているため、データの利用という点で効果がなく、一般的に適用するのが困難であるか、報酬関数と強化学習に依存しており、不完全になりがちです。
報酬関数であり、最適化が非常に困難です。
この作業では、最適化が容易で、極性に関係なく、あらゆる形式のフィードバックから学習できる新しい手法、Chain of Hindsight を提案します。
私たちのアイデアは、人間が言語の形で提示される広範なフィードバックからどのように学習するかに着想を得ています。
あらゆる種類のフィードバックを文章に変換し、それを使用してモデルを微調整し、言語モデルの言語理解機能を活用できるようにします。
フィードバックと組み合わせた一連のモデル生成でモデルを調整します。
そうすることで、モデルはフィードバックに基づいて出力を生成するようにトレーニングされ、モデルは否定的な属性やエラーを特定して修正することを学習できます。
私たちの方法を大規模な言語モデルに適用すると、言語モデルを人間の好みに合わせるという点で、後知恵の連鎖が以前の方法を大幅に上回っていることがわかりました。
要約と対話のタスクで大幅な改善が見られ、私たちのアプローチは人間による評価で著しく好まれています。

要約(オリジナル)

Learning from human preferences is important for language models to be helpful and useful for humans, and to align with human and social values. Prior work have achieved remarkable successes by learning from human feedback to understand and follow instructions. Nonetheless, these methods are either founded on hand-picked model generations that are favored by human annotators, rendering them ineffective in terms of data utilization and challenging to apply in general, or they depend on reward functions and reinforcement learning, which are prone to imperfect reward function and extremely challenging to optimize. In this work, we propose a novel technique, Chain of Hindsight, that is easy to optimize and can learn from any form of feedback, regardless of its polarity. Our idea is inspired by how humans learn from extensive feedback presented in the form of languages. We convert all types of feedback into sentences, which are then used to fine-tune the model, allowing us to take advantage of the language comprehension capabilities of language models. We condition the model on a sequence of model generations paired with feedback. By doing so, models are trained to generate outputs based on feedback, and models can learn to identify and correct negative attributes or errors. Applying our method to large language models, we observed that Chain of Hindsight significantly surpasses previous methods in aligning language models with human preferences. We observed significant improvements on summarization and dialogue tasks and our approach is markedly preferred in human evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google