How Reliable are Causal Probing Interventions?

要約

因果調査は、さまざまな潜在特性の表現にどのように介入するかを調べることにより、基礎モデルを分析することを目的としています。
最近の作品は、いくつかの主要な因果調査方法の理論的根拠に疑問を投げかけていますが、実際にこれらの方法の有効性を体系的に評価する方法は不明でした。
これに対処するために、2つの重要な因果調査デシデラタを定義します。完全性（ターゲットプロパティの表現がどの程度徹底的に変換されているか）と選択性（非標的特性がどれほど影響を受けていないか）。
2つの間には固有のトレードオフがあり、それを信頼性、それらの高調波平均として定義することがわかります。
これらの量を測定および評価するための経験的分析フレームワークを導入し、主要な因果調査方法の異なるファミリー間で最初の直接的な比較を行うことができます（例：線形対非線形、または概念除去と反事実介入）。
（1）すべてのレイヤーにわたって信頼できる方法はありません。
（2）より信頼性の高い方法は、LLMの動作に大きな影響を与えます。
（3）非線形介入は、初期および中間層でより信頼性が高く、線形介入は後の層でより信頼性が高くなります。
（4）概念除去方法は、反事実的介入よりもはるかに信頼性が低く、因果調査への効果的なアプローチではない可能性があることを示唆しています。

要約(オリジナル)

Causal probing aims to analyze foundation models by examining how intervening on their representation of various latent properties impacts their outputs. Recent works have cast doubt on the theoretical basis of several leading causal probing methods, but it has been unclear how to systematically evaluate the effectiveness of these methods in practice. To address this, we define two key causal probing desiderata: completeness (how thoroughly the representation of the target property has been transformed) and selectivity (how little non-targeted properties have been impacted). We find that there is an inherent tradeoff between the two, which we define as reliability, their harmonic mean. We introduce an empirical analysis framework to measure and evaluate these quantities, allowing us to make the first direct comparisons between different families of leading causal probing methods (e.g., linear vs. nonlinear, or concept removal vs. counterfactual interventions). We find that: (1) no method is reliable across all layers; (2) more reliable methods have a greater impact on LLM behavior; (3) nonlinear interventions are more reliable in early and intermediate layers, and linear interventions are more reliable in later layers; and (4) concept removal methods are far less reliable than counterfactual interventions, suggesting that they may not be an effective approach to causal probing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google