Towards Understanding Sycophancy in Language Models

要約

人間のフィードバックは、AI アシスタントの微調整によく利用されます。
しかし、人間のフィードバックは、真実の信念よりもユーザーの信念に一致する模範的な応答、つまりお調子者として知られる行動を奨励する可能性もあります。
私たちは、微調整手順に人間のフィードバックを利用したモデルにおけるお調子者の蔓延と、そのような行動における人間の好みの判断の潜在的な役割を調査します。
まず、5 つの最先端の AI アシスタントが、4 つのさまざまな自由形式のテキスト生成タスクにわたって一貫して協調性を示すことを実証します。
人間の好みがこの広範に観察される行動を促進しているかどうかを理解するために、既存の人間の好みデータを分析します。
応答がユーザーの意見と一致する場合、その応答が好まれる可能性が高いことがわかりました。
さらに、人間も選好モデル (PM) も、無視できない割合で、正しい応答よりも説得力を持って書かれたおべっかな応答を好みます。
PM に対してモデルの出力を最適化すると、お調子者を優先して真実性が犠牲になる場合もあります。
全体として、私たちの結果は、お調子者は最先端の AI アシスタントの一般的な行動であり、お調子者的な反応を好む人間の好みの判断によって部分的に引き起こされている可能性があることを示しています。

要約(オリジナル)

Human feedback is commonly utilized to finetune AI assistants. But human feedback may also encourage model responses that match user beliefs over truthful ones, a behaviour known as sycophancy. We investigate the prevalence of sycophancy in models whose finetuning procedure made use of human feedback, and the potential role of human preference judgments in such behavior. We first demonstrate that five state-of-the-art AI assistants consistently exhibit sycophancy across four varied free-form text-generation tasks. To understand if human preferences drive this broadly observed behavior, we analyze existing human preference data. We find that when a response matches a user’s views, it is more likely to be preferred. Moreover, both humans and preference models (PMs) prefer convincingly-written sycophantic responses over correct ones a non-negligible fraction of the time. Optimizing model outputs against PMs also sometimes sacrifices truthfulness in favor of sycophancy. Overall, our results indicate that sycophancy is a general behavior of state-of-the-art AI assistants, likely driven in part by human preference judgments favoring sycophantic responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google