DecompX: Explaining Transformers Decisions by Propagating Token Decomposition

要約

Transformer ベースのモデルを説明するための新しいソリューションは、表現がどのように形成されるかについてベクトルベースの分析を使用することです。
ただし、多層モデルに対して忠実なベクトルベースの説明を提供することは、次の 3 つの側面で困難になる可能性があります。(1) すべてのコンポーネントを解析に組み込むこと、(2) 層のダイナミクスを集約してモデル全体に​​わたる情報の流れと混合を決定すること
(3) ベクトルベースの分析とモデルの予測の間の関係を特定する。
このペーパーでは、これらの課題に取り組むための DecompX を紹介します。
DecompX は、分解されたトークン表現の構築と、レイヤー間で混合することなくモデル全体に​​それらを連続的に伝播することに基づいています。
さらに、私たちの提案には、すべてのエンコーダ コンポーネント (特に非線形フィードフォワード ネットワーク) と分類ヘッドが含まれているため、既存のソリューションに比べて複数の利点があります。
前者では正確なベクトルを取得できる一方、後者では分解を意味のある予測ベースの値に変換し、ノルムまたは合計ベースのベクトル集約の必要性を排除します。
標準的な忠実性評価によると、DecompX はさまざまなデータセットに対して既存の勾配ベースおよびベクトルベースのアプローチを常に上回っています。
私たちのコードは https://github.com/mohsenfayyaz/DecompX で入手できます。

要約(オリジナル)

An emerging solution for explaining Transformer-based models is to use vector-based analysis on how the representations are formed. However, providing a faithful vector-based explanation for a multi-layer model could be challenging in three aspects: (1) Incorporating all components into the analysis, (2) Aggregating the layer dynamics to determine the information flow and mixture throughout the entire model, and (3) Identifying the connection between the vector-based analysis and the model’s predictions. In this paper, we present DecompX to tackle these challenges. DecompX is based on the construction of decomposed token representations and their successive propagation throughout the model without mixing them in between layers. Additionally, our proposal provides multiple advantages over existing solutions for its inclusion of all encoder components (especially nonlinear feed-forward networks) and the classification head. The former allows acquiring precise vectors while the latter transforms the decomposition into meaningful prediction-based values, eliminating the need for norm- or summation-based vector aggregation. According to the standard faithfulness evaluations, DecompX consistently outperforms existing gradient-based and vector-based approaches on various datasets. Our code is available at https://github.com/mohsenfayyaz/DecompX.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google