What does ChatGPT return about human values? Exploring value bias in ChatGPT using a descriptive value theory

要約

タイトル：ChatGPTにおける人間の価値についてChatGPTが示すもの-描写的価値理論を用いて価値バイアスを探る

要約：

– LLM（Large Language Models）によって生成されたテキストには、イデオロギー的基盤や可能性のある差別に関する懸念がある。
– 本論文では、心理的価値理論を用いてChatGPTにおける可能性のある価値バイアスをテストした。
– （改行の意味が不明な部分があるため、原文のままとしています） Portrait Value Questionnaireと呼ばれるアイテムや、価値タイプの定義、価値名から派生した数多くの異なるプローブを使用して、簡単な実験をデザインしています。
– OpenAI APIを介してChatGPTを何度もプロンプトし、次に価値辞書を使用して単語袋のアプローチを使用して生成されたコーパスを価値内容で分析しました。
– 全体的に、明確な価値バイアスの証拠はほとんどありませんでした。
– 結果は、理論学習モデルの予測に合致し、生成されたテキストの構築および識別妥当性が十分であることが示されました。
– 社会中心の価値が一部混合されていることが示唆され、これらの価値は言語レベルではより明確に区別されていない可能性があるか、あるいはこの混合には根本的に普遍的な人間の動機への反映があるかもしれない。
– ChatGPTの企業利用や政策立案における応用、および将来の研究の可能性について、本論文ではいくつかの可能性を概説しています。
– さらに、言語モデルを使用した動機的コンテンツの比較的高い忠実度のレプリケーションによる人間の価値理論の理論化のための可能性の示唆についても、本論文は言及しています。

要約(オリジナル)

There has been concern about ideological basis and possible discrimination in text generated by Large Language Models (LLMs). We test possible value biases in ChatGPT using a psychological value theory. We designed a simple experiment in which we used a number of different probes derived from the Schwartz basic value theory (items from the revised Portrait Value Questionnaire, the value type definitions, value names). We prompted ChatGPT via the OpenAI API repeatedly to generate text and then analyzed the generated corpus for value content with a theory-driven value dictionary using a bag of words approach. Overall, we found little evidence of explicit value bias. The results showed sufficient construct and discriminant validity for the generated text in line with the theoretical predictions of the psychological model, which suggests that the value content was carried through into the outputs with high fidelity. We saw some merging of socially oriented values, which may suggest that these values are less clearly differentiated at a linguistic level or alternatively, this mixing may reflect underlying universal human motivations. We outline some possible applications of our findings for both applications of ChatGPT for corporate usage and policy making as well as future research avenues. We also highlight possible implications of this relatively high-fidelity replication of motivational content using a linguistic model for the theorizing about human values.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI