Probing Causality Manipulation of Large Language Models

要約

大規模言語モデル (LLM) は、因果関係に関する問題を含む、自然言語処理に関するさまざまな能力を示しています。
事前トレーニング済みモデルは通常、統計的関連に基づいて機能し、文内の原因と結果に焦点を当てていないため、LLM が因果関係を命令することは直感的ではありません。
そのため、LLM には因果関係の内部操作を精査することが必要です。
この論文では、モデルへのさまざまなショートカットを提供して動作を観察することにより、因果関係の操作を階層的に調査するための新しいアプローチを提案します。
私たちは、設計された因果関係分類タスクのモデルに検索拡張生成 (RAG) とインコンテキスト学習 (ICL) を活用します。
私たちは、GPT-4 やいくつかの小規模なドメイン固有モデルなど、主流の LLM で実験を行っています。
私たちの結果は、LLM が因果関係に関連するエンティティを検出し、直接の因果関係を認識できることを示唆しています。
ただし、LLM には因果関係に関する特殊な認識が欠けており、単に文のグローバルな意味論の一部として扱われます。

要約(オリジナル)

Large language models (LLMs) have shown various ability on natural language processing, including problems about causality. It is not intuitive for LLMs to command causality, since pretrained models usually work on statistical associations, and do not focus on causes and effects in sentences. So that probing internal manipulation of causality is necessary for LLMs. This paper proposes a novel approach to probe causality manipulation hierarchically, by providing different shortcuts to models and observe behaviors. We exploit retrieval augmented generation (RAG) and in-context learning (ICL) for models on a designed causality classification task. We conduct experiments on mainstream LLMs, including GPT-4 and some smaller and domain-specific models. Our results suggest that LLMs can detect entities related to causality and recognize direct causal relationships. However, LLMs lack specialized cognition for causality, merely treating them as part of the global semantic of the sentence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google