Language Models are Bounded Pragmatic Speakers: Understanding RLHF from a Bayesian Cognitive Modeling Perspective

要約

言語モデルはどのように「考える」のでしょうか?
この論文は、言語モデルのさまざまなバリエーションの動作を特徴付けることができる、有界語用論的話者と呼ばれる確率的認知モデルを定式化します。
具体的には、人間のフィードバックからの強化学習で微調整された大規模な言語モデル (Ouyang et al., 2022) が、概念的に高速と低速のモデル (Kahneman, 2011) に似た思考モデルを具体化していることを実証します。
人間に。
私たちは、思考の高速および低速モデルとしての人間のフィードバックからの強化学習の限界について議論し、このフレームワークを拡張する手段を提案します。
本質的に、私たちの研究は、言語モデルの理解、評価、進歩についての洞察を得るために認知確率モデリングアプローチを採用することの価値を強調しています。

要約(オリジナル)

How do language models ‘think’? This paper formulates a probabilistic cognitive model called the bounded pragmatic speaker, which can characterize the operation of different variations of language models. Specifically, we demonstrate that large language models fine-tuned with reinforcement learning from human feedback (Ouyang et al., 2022) embody a model of thought that conceptually resembles a fast-and-slow model (Kahneman, 2011), which psychologists have attributed to humans. We discuss the limitations of reinforcement learning from human feedback as a fast-and-slow model of thought and propose avenues for expanding this framework. In essence, our research highlights the value of adopting a cognitive probabilistic modeling approach to gain insights into the comprehension, evaluation, and advancement of language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google