An Attribution Method for Siamese Encoders

要約

センテンストランスフォーマー (ST) などのシャムエンコーダーモデルの成功にもかかわらず、それらが注目する入力の側面についてはほとんど知られていません。
障壁は、単一の入力を処理するのではなく 2 つの入力を比較するため、予測が個々の特徴に起因するものではないことです。
この論文は、統合勾配の原理を複数の入力を持つモデルに一般化することにより、シャム エンコーダのローカル アトリビューション方法を導き出します。
このソリューションは、機能ペアの属性の形式をとり、ST のトークン-トークン マトリックスに還元できます。
私たちの方法には統合ヤコビアンの導入が含まれており、統合勾配の有利な形式的特性を継承しています。これはモデルの完全な計算グラフを考慮し、実際の予測に収束することが保証されています。
パイロット研究では、ST では少数のトークンペアで予測の大部分を説明できることが多く、名詞と動詞に焦点を当てていることが示されています。
ただし、正確な予測を行うには、大部分のトークンと品詞に注意を払う必要があります。

要約(オリジナル)

Despite the success of Siamese encoder models such as sentence transformers (ST), little is known about the aspects of inputs they pay attention to. A barrier is that their predictions cannot be attributed to individual features, as they compare two inputs rather than processing a single one. This paper derives a local attribution method for Siamese encoders by generalizing the principle of integrated gradients to models with multiple inputs. The solution takes the form of feature-pair attributions, and can be reduced to a token-token matrix for STs. Our method involves the introduction of integrated Jacobians and inherits the advantageous formal properties of integrated gradients: it accounts for the model’s full computation graph and is guaranteed to converge to the actual prediction. A pilot study shows that in an ST few token-pairs can often explain large fractions of predictions, and it focuses on nouns and verbs. For accurate predictions, it however needs to attend to the majority of tokens and parts of speech.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google