Decoding Layer Saliency in Language Transformers

要約

この論文では、分類タスクに適用される大規模言語モデルにおけるテキストの顕著性を識別するための戦略を紹介します。
顕著性がよりよく研究されているビジュアル ネットワークでは、顕著性はネットワークの畳み込み層を通じて自然に局所化されます。
ただし、自然言語の処理に使用される最新のトランススタック ネットワークでは同じことは当てはまりません。
我々は、これらのネットワークに勾配ベースの顕著性手法を適用し、各層の意味的一貫性の度合いを評価する方法を提案し、複数のベンチマーク分類データセットでのテキストの顕著性について他の多数の手法と比較して一貫した改善を実証します。
私たちのアプローチは追加のトレーニングやラベル付きデータへのアクセスを必要とせず、比較的非常に計算効率が高いです。

要約(オリジナル)

In this paper, we introduce a strategy for identifying textual saliency in large-scale language models applied to classification tasks. In visual networks where saliency is more well-studied, saliency is naturally localized through the convolutional layers of the network; however, the same is not true in modern transformer-stack networks used to process natural language. We adapt gradient-based saliency methods for these networks, propose a method for evaluating the degree of semantic coherence of each layer, and demonstrate consistent improvement over numerous other methods for textual saliency on multiple benchmark classification datasets. Our approach requires no additional training or access to labelled data, and is comparatively very computationally efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google