Questioning the Survey Responses of Large Language Models

要約

大規模な言語モデルの機能が向上するにつれて、研究者はさまざまな科学的動機を持ってこれらのモデルについてあらゆる種類の調査を実施し始めています。
この研究では、米国国勢調査局による定評のある American Community Survey (ACS) に基づいて、言語モデルの調査回答から何が学べるかを検証します。
事実上の標準の多肢選択プロンプト手法を使用し、ACS からの質問に対して 40 の異なる言語モデルをそれぞれ数十万回評価して、2 つの主要なパターンを体系的に確立しました。
まず、モデルには、たとえば文字「A」でラベル付けされたアンケート回答に対して、重大な位置とラベル付けのバイアスがあります。
第 2 に、ランダム化された回答の順序付けを通じてラベル付けのバイアスを調整すると、モデル全体が均一にランダムな調査回答に向かう傾向があります。
実際、バイナリ分類器は、ACS に対するモデルの応答と米国国勢調査の応答をほぼ完全に区別できます。
総合すると、私たちの調査結果は、言語モデルからの調査回答を現時点で人間集団の回答と同等のものとして扱うことには注意が必要であることを示唆しています。

要約(オリジナル)

As large language models increase in capability, researchers have started to conduct surveys of all kinds on these models with varying scientific motivations. In this work, we examine what we can learn from language models’ survey responses on the basis of the well-established American Community Survey (ACS) by the U.S. Census Bureau. Using a de-facto standard multiple-choice prompting technique and evaluating 40 different language models, hundreds of thousands of times each on questions from the ACS, we systematically establish two dominant patterns. First, models have significant position and labeling biases, for example, towards survey responses labeled with the letter ‘A’. Second, when adjusting for labeling biases through randomized answer ordering, models across the board trend towards uniformly random survey responses. In fact, binary classifiers can almost perfectly differentiate between models’ responses to the ACS and the responses of the US census. Taken together, our findings suggest caution in treating survey responses from language models as equivalent to those of human populations at present time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google