Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers

要約

トランスフォーマーベースのモデルは、解釈が難しい隠れた状態を生成します。
この研究では、動きの予測に焦点を当てて、これらの隠れた状態を解釈し、推論時に制御することを目的としています。
線形プローブを使用して、隠れた状態での解釈可能な運動特徴に対する神経崩壊を測定します。
高いプローブ精度は、対立する特徴の隠れた状態間の意味のある方向と距離を意味し、これを推論時のアクティベーション ステアリングの解釈可能な制御ベクトルに適合させるために使用します。
制御ベクトルを最適化するために、完全に接続された畳み込み MLPMixer レイヤーとさまざまなアクティベーション関数を備えたスパース オートエンコーダーを使用します。
特に、隠れ状態でスパース性を強制すると、制御ベクトルの温度と予測の間の関係がより線形になることがわかります。
私たちのアプローチは、無視できる計算オーバーヘッドで、機械的な解釈可能性と、目に見えないデータセットの特性に対するゼロショット一般化を可能にします。
私たちの実装は https://github.com/kit-mrt/future-motion で入手できます。

要約(オリジナル)

Transformer-based models generate hidden states that are difficult to interpret. In this work, we aim to interpret these hidden states and control them at inference, with a focus on motion forecasting. We use linear probes to measure neural collapse towards interpretable motion features in hidden states. High probing accuracy implies meaningful directions and distances between hidden states of opposing features, which we use to fit interpretable control vectors for activation steering at inference. To optimize our control vectors, we use sparse autoencoders with fully-connected, convolutional, MLPMixer layers and various activation functions. Notably, we show that enforcing sparsity in hidden states leads to a more linear relationship between control vector temperatures and forecasts. Our approach enables mechanistic interpretability and zero-shot generalization to unseen dataset characteristics with negligible computational overhead. Our implementation is available at https://github.com/kit-mrt/future-motion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google