Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives?

要約

私たちは、大規模言語モデル (LLM) の文脈で、ヒューマン フィードバックからの強化学習 (RLHF) における多元主義の認識論的および倫理的利点を主張します。
社会認識論と多元主義的な科学哲学を活用して、RHLF を人間のニーズによりよく対応できるようにする方法と、その過程での課題にどのように対処できるかを提案します。
この文書は、変化に向けたアジェンダ、つまり、LLM 開発を改善するための具体的で実行可能なステップで締めくくられています。

要約(オリジナル)

We argue for the epistemic and ethical advantages of pluralism in Reinforcement Learning from Human Feedback (RLHF) in the context of Large Language Models (LLM). Drawing on social epistemology and pluralist philosophy of science, we suggest ways in which RHLF can be made more responsive to human needs and how we can address challenges along the way. The paper concludes with an agenda for change, i.e. concrete, actionable steps to improve LLM development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google