An Adaptive Tangent Feature Perspective of Neural Networks

要約

ニューラル ネットワークにおける特徴学習をより深く理解するために、トレーニング中に特徴を変換できる接線特徴空間で線形モデルを理解するためのフレームワークを提案します。
特徴の線形変換を考慮し、その結果、双線形補間制約を使用したパラメータと変換に対する共同最適化が行われます。
この最適化問題には、ほぼ低ランクの解を促す構造化正則化を伴う等価な線形制約最適化があることを示します。
ニューラル ネットワーク構造に特化することで、特徴量、ひいてはカーネル関数がどのように変化するかについての洞察が得られ、ターゲット関数が接線特徴量を使用して適切に表現されていない場合のカーネル アラインメントの現象にさらなるニュアンスを提供します。
単純な回帰問題に関する実際のニューラル ネットワークでの理論的観察を検証することに加えて、接線特徴分類の適応特徴実装は、MNIST および CIFAR-10 の固定接線特徴モデルよりもサンプルの複雑さが 1 桁低いことを経験的に示します。

要約(オリジナル)

In order to better understand feature learning in neural networks, we propose a framework for understanding linear models in tangent feature space where the features are allowed to be transformed during training. We consider linear transformations of features, resulting in a joint optimization over parameters and transformations with a bilinear interpolation constraint. We show that this optimization problem has an equivalent linearly constrained optimization with structured regularization that encourages approximately low rank solutions. Specializing to neural network structure, we gain insights into how the features and thus the kernel function change, providing additional nuance to the phenomenon of kernel alignment when the target function is poorly represented using tangent features. In addition to verifying our theoretical observations in real neural networks on a simple regression problem, we empirically show that an adaptive feature implementation of tangent feature classification has an order of magnitude lower sample complexity than the fixed tangent feature model on MNIST and CIFAR-10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google