AI-Augmented Surveys: Leveraging Large Language Models for Opinion Prediction in Nationally Representative Surveys

要約

大規模言語モデル (LLM) を使用して調査を強化するにはどうすればよいでしょうか?
この論文では、意見予測のために全国を代表する調査によって微調整された LLM の 3 つの異なるアプリケーション (欠損データ補完、遡及、ゼロショット予測) を調査します。
我々は、アンケートの質問、個人の信念、および時間的コンテキストの神経埋め込みを組み込んで、意見予測における LLM をパーソナライズする新しい方法論的フレームワークを提案します。
1972 年から 2021 年までの一般社会調査における 68,846 人のアメリカ人からの 3,110 の二値化された意見の中で、Alpaca-7b に基づく最良のモデルは欠損データ補完に優れています (個人的な意見の予測では AUC = 0.87、世論の予測では $\rho$ = 0.99)。
および遡及 (AUC = 0.86、$\rho$ = 0.98)。
これらの優れた予測機能により、欠落している傾向を高い信頼性で補うことができ、同性婚への支持の高まりなど、国民の態度が変化した時期を正確に特定することができます。
ただし、モデルはゼロショット予測タスク (AUC = 0.73、$\rho$ = 0.67) では限られたパフォーマンスを示しており、人間の応答がない LLM によってもたらされる課題を浮き彫りにしています。
さらに、最良のモデルの精度は、社会経済的地位が低い個人、人種的少数派、無党派の人々では低いが、現代のイデオロギー的に分類された意見では高いことがわかりました。
意見予測に LLM を使用する場合の実際的な制約、社会人口統計上の表現、個人の自律性とプライバシーに関する倫理的懸念について説明します。
このホワイトペーパーでは、LLM を活用して、欠落している回答と傾向を予測することで全国を代表する調査を強化するための新しいアプローチを紹介します。

要約(オリジナル)

How can we use large language models (LLMs) to augment surveys? This paper investigates three distinct applications of LLMs fine-tuned by nationally representative surveys for opinion prediction — missing data imputation, retrodiction, and zero-shot prediction. We present a new methodological framework that incorporates neural embeddings of survey questions, individual beliefs, and temporal contexts to personalize LLMs in opinion prediction. Among 3,110 binarized opinions from 68,846 Americans in the General Social Survey from 1972 to 2021, our best models based on Alpaca-7b excels in missing data imputation (AUC = 0.87 for personal opinion prediction and $\rho$ = 0.99 for public opinion prediction) and retrodiction (AUC = 0.86, $\rho$ = 0.98). These remarkable prediction capabilities allow us to fill in missing trends with high confidence and pinpoint when public attitudes changed, such as the rising support for same-sex marriage. However, the models show limited performance in a zero-shot prediction task (AUC = 0.73, $\rho$ = 0.67), highlighting challenges presented by LLMs without human responses. Further, we find that the best models’ accuracy is lower for individuals with low socioeconomic status, racial minorities, and non-partisan affiliations but higher for ideologically sorted opinions in contemporary periods. We discuss practical constraints, socio-demographic representation, and ethical concerns regarding individual autonomy and privacy when using LLMs for opinion prediction. This paper showcases a new approach for leveraging LLMs to enhance nationally representative surveys by predicting missing responses and trends.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google