Detecting Conversational Mental Manipulation with Intent-Aware Prompting

要約

精神的操作は、意思決定を密かに否定的に歪め、精神的健康を著しく損ないます。
自然言語処理コミュニティ内でメンタルヘルスケアへの関心が高まっている一方で、会話中の微妙な秘密の戦術を検出する複雑さのため、操作への取り組みの進歩は依然として限られています。
この論文では、大規模言語モデル (LLM) を使用して精神的操作を検出するための新しいアプローチであるインテントアウェア プロンプティング (IAP) を提案し、参加者の根底にある意図を捕捉することで操作戦術をより深く理解できるようにします。
MentalManip データセットの実験結果は、他の高度なプロンプト戦略に対して IAP の優れた有効性を示しています。
特に、私たちのアプローチは偽陰性を大幅に減らし、陽性の場合の誤った判断を最小限に抑えながら、より多くの精神的操作の事例を検出するのに役立ちます。
この論文のコードは https://github.com/Anton-Jiayuan-MA/Manip-IAP で入手できます。

要約(オリジナル)

Mental manipulation severely undermines mental wellness by covertly and negatively distorting decision-making. While there is an increasing interest in mental health care within the natural language processing community, progress in tackling manipulation remains limited due to the complexity of detecting subtle, covert tactics in conversations. In this paper, we propose Intent-Aware Prompting (IAP), a novel approach for detecting mental manipulations using large language models (LLMs), providing a deeper understanding of manipulative tactics by capturing the underlying intents of participants. Experimental results on the MentalManip dataset demonstrate superior effectiveness of IAP against other advanced prompting strategies. Notably, our approach substantially reduces false negatives, helping detect more instances of mental manipulation with minimal misjudgment of positive cases. The code of this paper is available at https://github.com/Anton-Jiayuan-MA/Manip-IAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google