Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback

要約

GPT-4 などの財団モデルは、犯罪の幇助や人種差別的なテキストの作成など、危険な行為やその他の問題のある行為を回避するために微調整されています。
微調整の 1 つのアプローチは人間のフィードバックからの強化学習と呼ばれ、複数の出力に対する人間の表明された好みから学習します。
もう 1 つのアプローチは、人間からの入力が高レベルの原則のリストである憲法 AI です。
しかし、人間からの潜在的な分岐入力にどのように対処すればよいでしょうか?
入力を「集団的」プリファレンスに関する一貫したデータに集約したり、モデルの動作について集団的な選択を行うために使用したりするにはどうすればよいでしょうか?
この論文では、社会的選択の分野がこれらの疑問に対処するのに十分な位置にあると主張し、カリフォルニア州バークレーで開催されたAIの倫理と安全のための社会的選択に関する最近のワークショップでの議論を踏まえて、この議題に向けて前進する方法について議論します。
2023 年 12 月に米国。

要約(オリジナル)

Foundation models such as GPT-4 are fine-tuned to avoid unsafe or otherwise problematic behavior, such as helping to commit crimes or producing racist text. One approach to fine-tuning, called reinforcement learning from human feedback, learns from humans’ expressed preferences over multiple outputs. Another approach is constitutional AI, in which the input from humans is a list of high-level principles. But how do we deal with potentially diverging input from humans? How can we aggregate the input into consistent data about ‘collective’ preferences or otherwise use it to make collective choices about model behavior? In this paper, we argue that the field of social choice is well positioned to address these questions, and we discuss ways forward for this agenda, drawing on discussions in a recent workshop on Social Choice for AI Ethics and Safety held in Berkeley, CA, USA in December 2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google