Implicit Regularization of Gradient Flow on One-Layer Softmax Attention

要約

キー重み行列とクエリ重み行列が個別にトレーニングされる、1 層ソフトマックス アテンション モデルを使用した分類問題の指数関数的損失に関する勾配フローを研究します。
データの分離可能性の仮定の下で、勾配流が最小損失値に達すると、キー重み行列とクエリ重み行列の積の核ノルムがさらに暗黙的に最小化されることを示します。
このような暗黙的な正則化は、アテンションの重みに関するサポート ベクター マシン (SVM) 問題によって説明できます。
この発見は、キー行列とクエリ行列がトレーニング用に単一の重み行列に結合される場合、勾配降下法が積重み行列のフロベニウス ノルムに暗黙の正則化を引き起こすことを示した以前の結果とは対照的です。
対角キー行列とクエリ行列の場合、分析は再パラメータ化手法に基づいて構築され、分類データに関連付けられた SVM の近似 KKT 条件を利用します。
さらに、初期化時に重み行列の特異空間とデータ特徴が適切に位置合わせされると、結果は一般的な重み構成に拡張されます。

要約(オリジナル)

We study gradient flow on the exponential loss for a classification problem with a one-layer softmax attention model, where the key and query weight matrices are trained separately. Under a separability assumption on the data, we show that when gradient flow achieves the minimal loss value, it further implicitly minimizes the nuclear norm of the product of the key and query weight matrices. Such implicit regularization can be described by a Support Vector Machine (SVM) problem with respect to the attention weights. This finding contrasts with prior results showing that the gradient descent induces an implicit regularization on the Frobenius norm on the product weight matrix when the key and query matrices are combined into a single weight matrix for training. For diagonal key and query matrices, our analysis builds upon the reparameterization technique and exploits approximate KKT conditions of the SVM associated with the classification data. Moreover, the results are extended to general weights configurations given proper alignment of the weight matrices’ singular spaces with the data features at initialization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google