Six Lectures on Linearized Neural Networks

要約

これら 6 つの講義では、線形モデルの解析から多層ニューラル ネットワークの動作について何を学べるかを検討します。
まず、いわゆる遅延レジームを介したニューラル ネットワークと線形モデルの間の対応関係を思い出します。
次に、線形化ニューラル ネットワークの 4 つのモデル、つまり、集中特徴を含む線形回帰、カーネル リッジ回帰、ランダム特徴モデル、およびニューラル タンジェント モデルを検討します。
最後に、線形理論の限界を強調し、他のアプローチがそれらをどのように克服できるかについて説明します。

要約(オリジナル)

In these six lectures, we examine what can be learnt about the behavior of multi-layer neural networks from the analysis of linear models. We first recall the correspondence between neural networks and linear models via the so-called lazy regime. We then review four models for linearized neural networks: linear regression with concentrated features, kernel ridge regression, random feature model and neural tangent model. Finally, we highlight the limitations of the linear theory and discuss how other approaches can overcome them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google