Personalisation within bounds: A risk taxonomy and policy framework for the alignment of large language models with personalised feedback

要約

大規模言語モデル (LLM) は、幅広いタスクのコンテンツを生成するために使用され、ChatGPT などの製品インターフェイスや Bing などの検索エンジンに統合されることで、今後数年間でますます多くのユーザーにリーチするように設定されています。
これにより、モデルが人間の好みに合わせられ、安全でない、不正確な、または有毒な出力が生成されないようにする必要性が高まります。
人間のフィードバックを伴う強化学習 (RLHF) やレッドチーム化などの調整手法は、安全性に関する懸念を軽減し、モデルの機能を向上させることができますが、集約された微調整プロセスがユーザーの好みや価値観の全範囲を適切に表現できるとは考えにくいです。
さまざまな人々が、言語や会話の規範に対する好み、およびコミュニケーションを導く価値観やイデオロギーについて、正当に意見を異にする可能性があります。
ミクロレベルの嗜好学習プロセスを通じて LLM をパーソナライズすると、各ユーザーにより適したモデルが得られる可能性があります。
ただし、社会的に受け入れられ、安全な個人化の程度の境界を定義するには、いくつかの規範的な課題があります。
このホワイト ペーパーでは、LLM をどのように、どのようにパーソナライズする必要があるかを尋ねます。
まず、LLM を人間のフィードバックに合わせるための現在のパラダイムに関する文献を確認し、(i) アライメントが何を意味するかについての明確さの欠如を含む問題を特定します。
(ii) 技術提供者が本質的に主観的な好みや価値観の定義を規定する傾向。
(iii) 「クラウドワーカーの専制政治」。これは、私たちが実際に誰と連携しているかについての文書の欠如によって悪化しています。
次に、個人および社会全体にとって、パーソナライズされた LLM に関連する利点とリスクの分類法を提示します。
最後に、(超) 国家および組織の境界内で危険で望ましくない LLM 動作を抑制しながら、ユーザーがパーソナライズされた調整の利点を体験できるようにする 3 層のポリシー フレームワークを提案します。

要約(オリジナル)

Large language models (LLMs) are used to generate content for a wide range of tasks, and are set to reach a growing audience in coming years due to integration in product interfaces like ChatGPT or search engines like Bing. This intensifies the need to ensure that models are aligned with human preferences and do not produce unsafe, inaccurate or toxic outputs. While alignment techniques like reinforcement learning with human feedback (RLHF) and red-teaming can mitigate some safety concerns and improve model capabilities, it is unlikely that an aggregate fine-tuning process can adequately represent the full range of users’ preferences and values. Different people may legitimately disagree on their preferences for language and conversational norms, as well as on values or ideologies which guide their communication. Personalising LLMs through micro-level preference learning processes may result in models that are better aligned with each user. However, there are several normative challenges in defining the bounds of a societally-acceptable and safe degree of personalisation. In this paper, we ask how, and in what ways, LLMs should be personalised. First, we review literature on current paradigms for aligning LLMs with human feedback, and identify issues including (i) a lack of clarity regarding what alignment means; (ii) a tendency of technology providers to prescribe definitions of inherently subjective preferences and values; and (iii) a ‘tyranny of the crowdworker’, exacerbated by a lack of documentation in who we are really aligning to. Second, we present a taxonomy of benefits and risks associated with personalised LLMs, for individuals and society at large. Finally, we propose a three-tiered policy framework that allows users to experience the benefits of personalised alignment, while restraining unsafe and undesirable LLM-behaviours within (supra-)national and organisational bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google