Language is Scary when Over-Analyzed: Unpacking Implied Misogynistic Reasoning with Argumentation Theory-Driven Prompts

要約

私たちは、議論的推論タスクとして女性蔑視の検出を提案し、イタリア語と英語の両方で女性蔑視を伝えるために使用される暗黙の推論を理解する大規模言語モデル (LLM) の能力を調査します。
中心的な目的は、メッセージと女性蔑視をコード化する暗黙の意味の間に欠落している推論のリンクを生成することです。
私たちの研究では、ゼロショット設定と少数ショット設定の両方でプロンプトのコレクションを形成するための基礎として議論理論を使用しています。
これらのプロンプトは、思考連鎖推論や拡張知識などのさまざまなテクニックを統合します。
私たちの調査結果は、LLMは女性蔑視のコメントについての推論能力が不足しており、帰納的推論ではなく、女性に関する内面化された共通の固定観念から得られる暗黙の知識に主に依存して暗黙の仮定を生成していることを示しています。

要約(オリジナル)

We propose misogyny detection as an Argumentative Reasoning task and we investigate the capacity of large language models (LLMs) to understand the implicit reasoning used to convey misogyny in both Italian and English. The central aim is to generate the missing reasoning link between a message and the implied meanings encoding the misogyny. Our study uses argumentation theory as a foundation to form a collection of prompts in both zero-shot and few-shot settings. These prompts integrate different techniques, including chain-of-thought reasoning and augmented knowledge. Our findings show that LLMs fall short on reasoning capabilities about misogynistic comments and that they mostly rely on their implicit knowledge derived from internalized common stereotypes about women to generate implied assumptions, rather than on inductive reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google