On Layer-wise Representation Similarity: Application for Multi-Exit Models with a Single Classifier

要約

異なるモデル内および異なるモデル間の内部表現の類似性を分析することは、ディープ ニューラル ネットワークの動作を理解するための重要な手法です。
正準相関分析 (CCA) や広く使用されているセンタード カーネル アライメント (CKA) に基づくものなど、高次元の表現間の類似性を分析するための既存の手法のほとんどは、一連のデータ ポイントの表現の統計的特性に依存しています。
この論文では、変圧器モデルに焦点を当て、個々の変圧器の隠れ層間の表現の類似性を研究します。
これに関連して、単純なサンプル単位のコサイン類似度メトリックが類似性を捕捉でき、複雑な CKA と一致することを示します。
一般的なトランスフォーマに関する実験結果では、層が遠く離れている場合には類似性が低下するものの、層間の表現には正の相関があることが明らかになりました。
次に、次の特性を備えたトレーニング済みモデルを使用して、内部表現間の類似性を高めるための調整されたトレーニング アプローチを提案します。 (1) 最終層の分類子は隠れ層の直後に直接適用でき、中間層の精度が中間層の分類子よりもはるかに高くなります。
標準的なトレーニングの下で​​は、(2) 層ごとの精度が単調に増加し、特定のタスクに必要な最小限の深さが明らかになります。(3) マルチ出口モデルとして提供される場合、標準的なマルチ出口アーキテクチャと同等のパフォーマンスを達成します。
浅い層で早期に終了するように設計された追加の分類器。
私たちの知る限り、私たちの研究は、複数出口モデルには 1 つの共通分類器で十分であることを初めて示しました。
私たちは、提案された調整されたトレーニングのパフォーマンスを実証するために、視覚タスクと NLP タスクの両方について実験を実施します。

要約(オリジナル)

Analyzing the similarity of internal representations within and across different models has been an important technique for understanding the behavior of deep neural networks. Most existing methods for analyzing the similarity between representations of high dimensions, such as those based on Canonical Correlation Analysis (CCA) and widely used Centered Kernel Alignment (CKA), rely on statistical properties of the representations for a set of data points. In this paper, we focus on transformer models and study the similarity of representations between the hidden layers of individual transformers. In this context, we show that a simple sample-wise cosine similarity metric is capable of capturing the similarity and aligns with the complicated CKA. Our experimental results on common transformers reveal that representations across layers are positively correlated, albeit the similarity decreases when layers are far apart. We then propose an aligned training approach to enhance the similarity between internal representations, with trained models that enjoy the following properties: (1) the last-layer classifier can be directly applied right after any hidden layers, yielding intermediate layer accuracies much higher than those under standard training, (2) the layer-wise accuracies monotonically increase and reveal the minimal depth needed for the given task, (3) when served as multi-exit models, they achieve on-par performance with standard multi-exit architectures which consist of additional classifiers designed for early exiting in shallow layers. To our knowledge, our work is the first to show that one common classifier is sufficient for multi-exit models. We conduct experiments on both vision and NLP tasks to demonstrate the performance of the proposed aligned training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google