Large Language Models for Market Research: A Data-augmentation Approach

要約

大規模言語モデル (LLM) は、複雑な自然言語処理タスクに優れることで人工知能を変革しました。
人間のようなテキストを生成する機能により、市場調査、特に消費者の好みを理解することが不可欠であるものの、リソースを大量に消費するコンジョイント分析において、新たな可能性が開かれました。
従来の調査ベースの手法はスケーラビリティとコストの制限に直面しており、LLM で生成されたデータが有望な代替手段となっています。
ただし、LLM には実際の消費者の行動をシミュレートする可能性がありますが、最近の研究では、LLM によって生成されたデータと人間のデータの間に大きなギャップがあり、この 2 つのデータを置き換える際にバイアスが導入されることが明らかになりました。
この論文では、LLM で生成されたデータをコンジョイント分析で実際のデータと効率的に統合する新しい統計データ拡張アプローチを提案することで、このギャップに対処します。
私たちの方法では、転移学習の原理を利用して、少量の人間のデータを使用して LLM で生成されたデータのバイアスを軽減します。
これにより、偏りを悪化させる可能性がある人間のデータを単に LLM で生成されたデータに置き換える単純なアプローチとは対照的に、一貫性があり漸近的に正規の特性を備えた統計的に堅牢な推定量が得られます。
私たちは、新型コロナウイルス感染症ワクチンの好みに関する実証研究を通じてフレームワークを検証し、推定誤差を削減し、データとコストを 24.9% ～ 79.8% 節約する優れた能力を実証しました。
対照的に、単純なアプローチでは、人間のデータと比較して LLM で生成されたデータに固有のバイアスがあるため、データを保存できません。
スポーツカーの選択に関する別の実証研究では、結果の堅牢性が検証されています。
私たちの調査結果は、LLM によって生成されたデータは人間の反応の直接的な代替品ではないものの、堅牢な統計フレームワーク内で使用される場合には貴重な補完機能として機能する可能性があることを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) have transformed artificial intelligence by excelling in complex natural language processing tasks. Their ability to generate human-like text has opened new possibilities for market research, particularly in conjoint analysis, where understanding consumer preferences is essential but often resource-intensive. Traditional survey-based methods face limitations in scalability and cost, making LLM-generated data a promising alternative. However, while LLMs have the potential to simulate real consumer behavior, recent studies highlight a significant gap between LLM-generated and human data, with biases introduced when substituting between the two. In this paper, we address this gap by proposing a novel statistical data augmentation approach that efficiently integrates LLM-generated data with real data in conjoint analysis. Our method leverages transfer learning principles to debias the LLM-generated data using a small amount of human data. This results in statistically robust estimators with consistent and asymptotically normal properties, in contrast to naive approaches that simply substitute human data with LLM-generated data, which can exacerbate bias. We validate our framework through an empirical study on COVID-19 vaccine preferences, demonstrating its superior ability to reduce estimation error and save data and costs by 24.9% to 79.8%. In contrast, naive approaches fail to save data due to the inherent biases in LLM-generated data compared to human data. Another empirical study on sports car choices validates the robustness of our results. Our findings suggest that while LLM-generated data is not a direct substitute for human responses, it can serve as a valuable complement when used within a robust statistical framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google