Is ChatGPT a Good Personality Recognizer? A Preliminary Study

要約

近年、性格は貴重な個人的要素とみなされ、感情分析や製品の推奨などの多くのタスクに組み込まれています。
これにより、与えられたテキストに基づいて個人の性格を識別することを目的とした、テキストベースの性格認識タスクが広く注目されるようになりました。
ChatGPTが最近さまざまな自然言語処理タスクで顕著な能力を示していることを考慮して、効果的な性格データを生成するためのテキストベースの性格認識タスクに関するChatGPTの予備評価を提供します。
具体的には、特定のテキストから性格を認識する ChatGPT の能力を調査するためにさまざまなプロンプト戦略を採用しています。特に、特定のレベルで与えられたテキストを分析する際に ChatGPT を導くために設計したレベル指向のプロンプト戦略です。
2 つの代表的な現実世界のデータセットでの実験結果から、ゼロショット思考連鎖プロンプトを備えた ChatGPT が優れた性格認識能力を示し、テキストベースの論理的推論を通じて自然言語による説明を提供できることが明らかになりました。
さらに、レベル指向のプロンプト戦略を採用してゼロショット思考連鎖プロンプトを最適化することにより、ChatGPT と対応する最先端モデルとの間のパフォーマンスのギャップはさらに狭まりました。
ただし、ChatGPT は性別や年齢などの特定のデリケートな人口統計的属性に対して不公平を示していることがわかります。
さらに、ChatGPT の性格認識能力を引き出すと、感情分類やストレス予測などの性格関連の下流タスクのパフォーマンスが向上することがわかりました。

要約(オリジナル)

In recent years, personality has been regarded as a valuable personal factor being incorporated into numerous tasks such as sentiment analysis and product recommendation. This has led to widespread attention to text-based personality recognition task, which aims to identify an individual’s personality based on given text. Considering that ChatGPT has recently exhibited remarkable abilities on various natural language processing tasks, we provide a preliminary evaluation of ChatGPT on text-based personality recognition task for generating effective personality data. Concretely, we employ a variety of prompting strategies to explore ChatGPT’s ability in recognizing personality from given text, especially the level-oriented prompting strategy we designed for guiding ChatGPT in analyzing given text at a specified level. The experimental results on two representative real-world datasets reveal that ChatGPT with zero-shot chain-of-thought prompting exhibits impressive personality recognition ability and is capable to provide natural language explanations through text-based logical reasoning. Furthermore, by employing the level-oriented prompting strategy to optimize zero-shot chain-of-thought prompting, the performance gap between ChatGPT and corresponding state-of-the-art model has been narrowed even more. However, we observe that ChatGPT shows unfairness towards certain sensitive demographic attributes such as gender and age. Additionally, we discover that eliciting the personality recognition ability of ChatGPT helps improve its performance on personality-related downstream tasks such as sentiment classification and stress prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google