Questioning the Survey Responses of Large Language Models

要約

大規模な言語モデルの機能が向上するにつれて、研究者は、回答によって表される母集団を調査するために、これらのモデルに対してあらゆる種類の調査を実施し始めています。
この研究では、米国国勢調査局による確立されたアメリカ社会調査に基づいて言語モデルの調査回答を批判的に検証し、それらが人間集団の忠実な表現を導き出すかどうかを調査します。
事実上の標準の多肢選択プロンプト手法を使用し、体系的な実験を使用して 39 の異なる言語モデルを評価することにより、2 つの支配的なパターンを確立します。まず、モデルの応答は順序付けとラベル付けのバイアスによって支配され、モデル間のばらつきが生じ、その後持続しません。
系統的なバイアスを調整する。
第 2 に、モデルの応答には、人間の集団で通常見られるエントロピー変動や統計信号が含まれていません。
その結果、バイナリ分類器は、モデルによって生成されたデータと米国国勢調査の回答をほぼ完全に区別できます。
同時に、モデルのトレーニング データやトレーニング戦略に関係なく、異なる人口統計サブグループとのモデルの相対的な整合性をサブグループのエントロピーから予測できます。
総合すると、我々の調査結果は、モデルの調査回答を人間集団の回答と同等に扱うことには注意が必要であることを示唆しています。

要約(オリジナル)

As large language models increase in capability, researchers have started to conduct surveys of all kinds on these models in order to investigate the population represented by their responses. In this work, we critically examine language models’ survey responses on the basis of the well-established American Community Survey by the U.S. Census Bureau and investigate whether they elicit a faithful representations of any human population. Using a de-facto standard multiple-choice prompting technique and evaluating 39 different language models using systematic experiments, we establish two dominant patterns: First, models’ responses are governed by ordering and labeling biases, leading to variations across models that do not persist after adjusting for systematic biases. Second, models’ responses do not contain the entropy variations and statistical signals typically found in human populations. As a result, a binary classifier can almost perfectly differentiate model-generated data from the responses of the U.S. census. At the same time, models’ relative alignment with different demographic subgroups can be predicted from the subgroups’ entropy, irrespective of the model’s training data or training strategy. Taken together, our findings suggest caution in treating models’ survey responses as equivalent to those of human populations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google