Privately Aligning Language Models with Reinforcement Learning

要約

事前学習とユーザ展開の間に位置する大規模言語モデル(LLM)のアライメントは、強化学習(RL)を通して、ChatGPTのような命令追従モデルを学習するための一般的な戦略として浮上してきた。本研究では、RLと連携した差分プライバシー(DP)により、プライバシーを保持したLLMのアライメントを研究する。Zieglerら(2020)の影響力のある研究に従い、我々は2つの支配的なパラダイムを研究する：(i)人間をループに入れないRLによるアライメント（例えば、肯定的なレビュー生成）、(ii)人間のフィードバックからのRLによるアライメント（RLHF）（例えば、人間が好む方法での要約）。我々は、RLを介したアライメントを実現するための新しいDPフレームワークを与え、その正しさを証明する。我々の実験結果は、強力なプライバシー保護を保証しつつ、競争力のある有用性を提供する我々のアプローチの有効性を検証する。

要約(オリジナル)

Positioned between pre-training and user deployment, aligning large language models (LLMs) through reinforcement learning (RL) has emerged as a prevailing strategy for training instruction following-models such as ChatGPT. In this work, we initiate the study of privacy-preserving alignment of LLMs through Differential Privacy (DP) in conjunction with RL. Following the influential work of Ziegler et al. (2020), we study two dominant paradigms: (i) alignment via RL without human in the loop (e.g., positive review generation) and (ii) alignment via RL from human feedback (RLHF) (e.g., summarization in a human-preferred way). We give a new DP framework to achieve alignment via RL, and prove its correctness. Our experimental results validate the effectiveness of our approach, offering competitive utility while ensuring strong privacy protections.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL