Neural networks learn to magnify areas near decision boundaries

要約

私たちは、ニューラル ネットワークの特徴マップによって引き起こされるリーマン幾何学がトレーニングによってどのように形成されるかを研究します。
無限の幅では、ランダム パラメーターを持つニューラル ネットワークは、入力空間上で高度に対称的なメトリクスを引き起こします。
分類タスクを実行するように訓練されたネットワークでの特徴学習により、決定境界に沿った局所領域が拡大されます。
これらの変更は、一般化を改善するためにカーネル メソッドを手動で調整するために以前に提案された幾何学的なアプローチと一致しています。

要約(オリジナル)

We study how training molds the Riemannian geometry induced by neural network feature maps. At infinite width, neural networks with random parameters induce highly symmetric metrics on input space. Feature learning in networks trained to perform classification tasks magnifies local areas along decision boundaries. These changes are consistent with previously proposed geometric approaches for hand-tuning of kernel methods to improve generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google