Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment

要約

大規模言語モデル (LLM) を調整することは、安全性と実用性を高めるために非常に重要です。
しかし、主に嗜好データセットに基づく既存の方法は、ノイズの多いラベル、高い注釈コスト、プライバシーの懸念などの課題に直面しています。
この研究では、これらの課題を克服するために高品質のデモンストレーション データを活用する新しいアプローチであるデモンストレーションからの調整 (AfD) を紹介します。
私たちは、AfD を逐次的な意思決定の枠組みの中で形式化し、報酬シグナルを見逃すという AfD 特有の課題を強調します。
順強化学習と逆強化学習から洞察を引き出し、AfD に発散最小化目標を導入します。
分析的に、さまざまなアプローチの質量カバーとモード探索の動作を解明し、特定の方法がいつ、そしてなぜ優れているのかを説明します。
実際には、AfD 向けに調整された報酬モデルを外挿する、計算効率の高いアルゴリズムを提案します。
無害タスクと役立つタスクの実験を通じて重要な洞察を検証し、シンプルさを維持しながら強力な経験的パフォーマンスを実証します。

要約(オリジナル)

Aligning Large Language Models (LLMs) is crucial for enhancing their safety and utility. However, existing methods, primarily based on preference datasets, face challenges such as noisy labels, high annotation costs, and privacy concerns. In this work, we introduce Alignment from Demonstrations (AfD), a novel approach leveraging high-quality demonstration data to overcome these challenges. We formalize AfD within a sequential decision-making framework, highlighting its unique challenge of missing reward signals. Drawing insights from forward and inverse reinforcement learning, we introduce divergence minimization objectives for AfD. Analytically, we elucidate the mass-covering and mode-seeking behaviors of various approaches, explaining when and why certain methods are superior. Practically, we propose a computationally efficient algorithm that extrapolates over a tailored reward model for AfD. We validate our key insights through experiments on the Harmless and Helpful tasks, demonstrating their strong empirical performance while maintaining simplicity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google