要約
大規模言語モデル (LLM) の使用が普及したことで、そのメンタル モデルを研究する必要が生じ、注目すべき理論的および実践的な意味が生まれました。
現在の研究では、ChatGPT などの最先端の LLM が特定の心の理論能力を示し、比較的安定した Big Five および/または MBTI の性格特性を備えていることが実証されています。
さらに、認知プロセスの特徴は、これらのメンタル モデルの重要な要素を形成します。
文化心理学の研究では、情報を処理し判断する際の東洋人と西洋人の認知プロセスには大きな違いがあることが示されています。
西洋人は主に、物事を環境から切り離してその性質を独立して分析する分析的思考を示しますが、東洋人は、関係性を強調し、グローバルな視点を採用する総合的な思考を示すことがよくあります。
私たちの研究では、ChatGPT の文化的認知特性を調査しました。
私たちは、認知プロセスを直接測定する 2 つのスケール、分析全体主義スケール (AHS) と三項分類タスク (TCT) を採用しました。
さらに、文化的思考によって形作られた価値観の違いを調査する 2 つの尺度、弁証法的自己尺度 (DSS) と自己解釈尺度 (SCS) を使用しました。
認知プロセス テスト (AHS/TCT) では、ChatGPT は一貫して東洋の総合的思考に向かう傾向がありますが、価値判断 (DSS/SCS) に関しては、ChatGPT は東洋にも西洋にも大きく偏りません。
この結果は、LLM 開発におけるトレーニング パラダイムとトレーニング データの両方に起因する可能性があると考えられます。
AI 研究におけるこの発見の潜在的な価値と将来の研究の方向性について説明します。
要約(オリジナル)
The prevalent use of Large Language Models (LLMs) has necessitated studying their mental models, yielding noteworthy theoretical and practical implications. Current research has demonstrated that state-of-the-art LLMs, such as ChatGPT, exhibit certain theory of mind capabilities and possess relatively stable Big Five and/or MBTI personality traits. In addition, cognitive process features form an essential component of these mental models. Research in cultural psychology indicated significant differences in the cognitive processes of Eastern and Western people when processing information and making judgments. While Westerners predominantly exhibit analytical thinking that isolates things from their environment to analyze their nature independently, Easterners often showcase holistic thinking, emphasizing relationships and adopting a global viewpoint. In our research, we probed the cultural cognitive traits of ChatGPT. We employed two scales that directly measure the cognitive process: the Analysis-Holism Scale (AHS) and the Triadic Categorization Task (TCT). Additionally, we used two scales that investigate the value differences shaped by cultural thinking: the Dialectical Self Scale (DSS) and the Self-construal Scale (SCS). In cognitive process tests (AHS/TCT), ChatGPT consistently tends towards Eastern holistic thinking, but regarding value judgments (DSS/SCS), ChatGPT does not significantly lean towards the East or the West. We suggest that the result could be attributed to both the training paradigm and the training data in LLM development. We discuss the potential value of this finding for AI research and directions for future research.
arxiv情報
| 著者 | Chuanyang Jin,Songyang Zhang,Tianmin Shu,Zhihan Cui |
| 発行日 | 2023-08-28 01:05:18+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google