Psychologically-Inspired Causal Prompts

要約

タイトル：心理学に着想を得た因果関係の促し

要約：
– NLPデータセットは、入出力の単なる組み合わせよりも、入力と出力変数の間の因果関係を持っている。
– 本研究では、感情分類を例に挙げ、レビュー（X）と感情（Y）の因果関係を調べる。
– 言語が感情に影響を与えることがあるという心理学の研究に基づき、人々が最初に評価を行い、それから感想を自己合理化する場合（感情がレビューを引き起こす、すなわちY->X）、体験を最初に説明し、利点と欠点を考慮して最終評価を行う場合（レビューが感情を引き起こす、すなわちX->Y）と、アノテータが心の理論（ToM）によってユーザーの元の評価を推測する場合の3つの心理的プロセスの因果メカニズムについて、それぞれ異なる因果関係を明示する。
– この論文では、感情分類の人間の心理的プロセスのこれらの3つの因果メカニズムを3つの異なる因果関係の促しとして明確にし、(1)それらがどのように異なって機能するかを調べ、(2) モデルの応答を引き出す際にどのような性質の感情分類データが一致または多様性をもたらすかを研究する。
– 今後の研究においては、NLPタスクにおける異なる因果関係の構造についての認識を高める必要がある。
– コードとデータは以下のURLで公開されている：https://github.com/cogito233/psych-causal-prompt

要約(オリジナル)

NLP datasets are richer than just input-output pairs; rather, they carry causal relations between the input and output variables. In this work, we take sentiment classification as an example and look into the causal relations between the review (X) and sentiment (Y). As psychology studies show that language can affect emotion, different psychological processes are evoked when a person first makes a rating and then self-rationalizes their feeling in a review (where the sentiment causes the review, i.e., Y -> X), versus first describes their experience, and weighs the pros and cons to give a final rating (where the review causes the sentiment, i.e., X -> Y ). Furthermore, it is also a completely different psychological process if an annotator infers the original rating of the user by theory of mind (ToM) (where the review causes the rating, i.e., X -ToM-> Y ). In this paper, we verbalize these three causal mechanisms of human psychological processes of sentiment classification into three different causal prompts, and study (1) how differently they perform, and (2) what nature of sentiment classification data leads to agreement or diversity in the model responses elicited by the prompts. We suggest future work raise awareness of different causal structures in NLP tasks. Our code and data are at https://github.com/cogito233/psych-causal-prompt

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI