How to use and interpret activation patching

要約

アクティベーション パッチは、一般的な機構的解釈可能技術ですが、適用方法や結果の解釈方法に関して多くの微妙な点があります。
この手法を実際に使用した経験に基づいて、アドバイスとベスト プラクティスの概要を提供します。
アクティベーション パッチを適用するさまざまな方法の概要と、結果の解釈方法についての説明が含まれています。
私たちは、パッチング実験が回路に関してどのような証拠を提供するか、またメトリックの選択とそれに関連する落とし穴に焦点を当てます。

要約(オリジナル)

Activation patching is a popular mechanistic interpretability technique, but has many subtleties regarding how it is applied and how one may interpret the results. We provide a summary of advice and best practices, based on our experience using this technique in practice. We include an overview of the different ways to apply activation patching and a discussion on how to interpret the results. We focus on what evidence patching experiments provide about circuits, and on the choice of metric and associated pitfalls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google