White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?

要約

本論文では、表現学習の自然な目的は、データの分布、例えばトークンの集合を、非干渉な部分空間に支持される低次元のガウス混合に向かって圧縮変換することであると主張する。このような表現の良し悪しは、スパース率削減と呼ばれる、学習された表現の固有情報利得と外在スパース性を同時に最大化する原理的尺度によって評価できる。この観点から、変換器を含む一般的なディープネットワークアーキテクチャは、この尺度を最適化するための反復スキームを実現するものとみなすことができる。特に、我々は、この目的の一部に対する交互最適化からトランスフォーマーブロックを導出する：マルチヘッド自己注意オペレータは、特徴の符号化率に対する近似勾配降下ステップを実装することによって表現を圧縮し、後続の多層パーセプトロンは特徴をスパース化する。これにより、数学的に完全に解釈可能な、CRATEと名付けられたホワイトボックス変換器のようなディープネットワークアーキテクチャのファミリーが導かれる。我々は、ノイズ除去と圧縮の間の新しい接続によって、前述の圧縮符号化の逆が同じクラスのCRATEアーキテクチャによって実現できることを示す。従って、得られたホワイトボックスアーキテクチャは、エンコーダとデコーダの両方に普遍的である。実験によれば、これらのネットワークは、その単純さにもかかわらず、実際に大規模な実世界の画像やテキストデータセットの表現を圧縮し、スパース化することを学習し、高度に設計された変換器ベースのモデルに非常に近い性能を達成する：ViT、MAE、DINO、BERT、GPT2などである。提案する計算フレームワークは、データ圧縮の統一的な観点から、深層学習の理論と実践のギャップを埋める大きな可能性を示していると考えている。コードは以下から入手可能： https://ma-lab-berkeley.github.io/CRATE .

要約(オリジナル)

In this paper, we contend that a natural objective of representation learning is to compress and transform the distribution of the data, say sets of tokens, towards a low-dimensional Gaussian mixture supported on incoherent subspaces. The goodness of such a representation can be evaluated by a principled measure, called sparse rate reduction, that simultaneously maximizes the intrinsic information gain and extrinsic sparsity of the learned representation. From this perspective, popular deep network architectures, including transformers, can be viewed as realizing iterative schemes to optimize this measure. Particularly, we derive a transformer block from alternating optimization on parts of this objective: the multi-head self-attention operator compresses the representation by implementing an approximate gradient descent step on the coding rate of the features, and the subsequent multi-layer perceptron sparsifies the features. This leads to a family of white-box transformer-like deep network architectures, named CRATE, which are mathematically fully interpretable. We show, by way of a novel connection between denoising and compression, that the inverse to the aforementioned compressive encoding can be realized by the same class of CRATE architectures. Thus, the so-derived white-box architectures are universal to both encoders and decoders. Experiments show that these networks, despite their simplicity, indeed learn to compress and sparsify representations of large-scale real-world image and text datasets, and achieve performance very close to highly engineered transformer-based models: ViT, MAE, DINO, BERT, and GPT2. We believe the proposed computational framework demonstrates great potential in bridging the gap between theory and practice of deep learning, from a unified perspective of data compression. Code is available at: https://ma-lab-berkeley.github.io/CRATE .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL