Questioning the Survey Responses of Large Language Models

要約

アンケートは、大規模な言語モデルを研究するためのツールとして最近人気が高まっています。
研究者は、モデルの調査回答を人間の参照集団の回答と比較することで、現在の言語モデルが最もよく表している人口動態、政治的意見、価値観を推測することを目指しています。
この研究では、米国国勢調査局による確立されたアメリカ社会調査に基づいて、この方法論を批判的に検証します。
事実上の標準的なプロンプト手法を使用して 43 の異なる言語モデルを評価し、2 つの主要なパターンを確立しました。
まず、モデルの回答は、たとえば文字「A」でラベル付けされた調査回答に対する順序付けとラベル付けのバイアスによって支配されます。
第 2 に、ランダム化された回答の順序付けを通じてこれらの体系的なバイアスを調整すると、モデルのサイズや事前トレーニング データに関係なく、モデル全体が均一にランダムな調査回答に向かう傾向があります。
その結果、以前の研究からの推測とは対照的に、調査から導出された調整尺度は簡単な説明を可能にすることがよくあります。モデルは一貫して、検討中の調査の集計統計が最も均一に近いサブグループをより適切に表現しているように見えます。

要約(オリジナル)

Surveys have recently gained popularity as a tool to study large language models. By comparing survey responses of models to those of human reference populations, researchers aim to infer the demographics, political opinions, or values best represented by current language models. In this work, we critically examine this methodology on the basis of the well-established American Community Survey by the U.S. Census Bureau. Evaluating 43 different language models using de-facto standard prompting methodologies, we establish two dominant patterns. First, models’ responses are governed by ordering and labeling biases, for example, towards survey responses labeled with the letter ‘A’. Second, when adjusting for these systematic biases through randomized answer ordering, models across the board trend towards uniformly random survey responses, irrespective of model size or pre-training data. As a result, in contrast to conjectures from prior work, survey-derived alignment measures often permit a simple explanation: models consistently appear to better represent subgroups whose aggregate statistics are closest to uniform for any survey under consideration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google