PMaF: Deep Declarative Layers for Principal Matrix Features

要約

主行列特徴量 (PMaF) を学習するために、2 つの微分可能な深い宣言層、つまり球面上の最小二乗法 (LESS) と陰的固有分解 (IED) を調査します。
これを使用すると、高次元行列からの主要な情報を含む低次元ベクトルでデータの特徴を表現できます。
まず順方向パスで反復最適化を使用して問題を解決し、次にバイレベル最適化フレームワークの下で陰的勾配の解を逆伝播します。
特に、バックトラッキングライン探索法を用いた適応降下ステップと接線空間での降下減衰を研究し、LESSの前方通過効率を向上させます。
一方、悪用されたデータ構造は、LESS と IED のバックワード パスでの計算の複雑さを大幅に軽減するために使用されます。
ソリューションの最適性と計算要件を比較することで、既製のベースラインに対するレイヤーの優位性を経験的に実証します。

要約(オリジナル)

We explore two differentiable deep declarative layers, namely least squares on sphere (LESS) and implicit eigen decomposition (IED), for learning the principal matrix features (PMaF). This can be used to represent data features with a low-dimension vector containing dominant information from a high-dimension matrix. We first solve the problems with iterative optimization in the forward pass and then backpropagate the solution for implicit gradients under a bi-level optimization framework. Particularly, adaptive descent steps with the backtracking line search method and descent decay in the tangent space are studied to improve the forward pass efficiency of LESS. Meanwhile, exploited data structures are used to greatly reduce the computational complexity in the backward pass of LESS and IED. Empirically, we demonstrate the superiority of our layers over the off-the-shelf baselines by comparing the solution optimality and computational requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google