AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation

要約

生成変換モデルは、多数のパラメーターと複数の入力モダリティを処理する機能を備え、ますます複雑になっています。
彼らの予測を説明する現在の方法は、リソースを大量に消費します。
最も重要なのは、順方向パスのほぼ 2 倍の GPU メモリを割り当てるバックプロパゲーションに依存しているため、法外に大量の追加メモリが必要になることです。
このため、実稼働環境で使用することが不可能ではないにしても、困難になります。
追加費用をほとんど無料で生成変圧器モデルの説明を提供する AtMan を紹介します。
具体的には、AtMan はモダリティに依存しない摂動法であり、トランスフォーマーの注意メカニズムを操作して、出力予測に対する入力の関連性マップを生成します。
AtMan は、バックプロパゲーションを使用する代わりに、埋め込み空間内のコサイン類似度近傍に基づいた並列化可能なトークンベースの検索方法を適用します。
テキストおよび画像テキストのベンチマークに関する徹底的な実験により、AtMan は計算効率が高く、いくつかの指標において現在の最先端の勾配ベースの手法よりも優れたパフォーマンスを発揮することが実証されました。
そのため、AtMan は大規模なモデル推論の展開での使用に適しています。

要約(オリジナル)

Generative transformer models have become increasingly complex, with large numbers of parameters and the ability to process multiple input modalities. Current methods for explaining their predictions are resource-intensive. Most crucially, they require prohibitively large amounts of extra memory, since they rely on backpropagation which allocates almost twice as much GPU memory as the forward pass. This makes it difficult, if not impossible, to use them in production. We present AtMan that provides explanations of generative transformer models at almost no extra cost. Specifically, AtMan is a modality-agnostic perturbation method that manipulates the attention mechanisms of transformers to produce relevance maps for the input with respect to the output prediction. Instead of using backpropagation, AtMan applies a parallelizable token-based search method based on cosine similarity neighborhood in the embedding space. Our exhaustive experiments on text and image-text benchmarks demonstrate that AtMan outperforms current state-of-the-art gradient-based methods on several metrics while being computationally efficient. As such, AtMan is suitable for use in large model inference deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google