Interpolation, extrapolation, and local generalization in common neural networks

要約

ニューラルネットワークがトレーニングセットを超えて外挿するのに苦労していることを示す長い研究の歴史があります。
Balestrieroらによる最近の研究。
（2021）は、この見解に異議を唱えます。補間をトレーニングセットの凸包に属する状態として定義すると、入力空間または神経空間のいずれかで、テストセットがこの凸包にほとんど存在できないことを示します。
データの高次元性。よく知られている次元の呪いを呼び起こします。
その場合、ニューラルネットワークは必然的に外挿モードで機能すると想定されます。
ここでは、典型的なニューラルネットワークの最後の隠れ層の神経活動を研究します。
オートエンコーダーを使用して神経活動の根底にある固有の空間を明らかにすることで、この空間が実際には低次元であり、モデルが優れているほど、この固有の空間の次元が低くなることを示します。
この空間では、テストセットのほとんどのサンプルは、実際にはトレーニングセットの凸包にあります。凸包の定義では、モデルは内挿レジームで機能します。
さらに、凸包に属することは適切な基準ではないように思われることを示します。
トレーニングセットへの近接性のさまざまな測定値は、実際にはパフォーマンスの精度との関連性が高くなります。
したがって、典型的なニューラルネットワークは補間レジームで動作しているように見えます。
優れた一般化パフォーマンスは、そのようなレジームでうまく機能するニューラルネットワークの能力に関連しています。

要約(オリジナル)

There has been a long history of works showing that neural networks have hard time extrapolating beyond the training set. A recent study by Balestriero et al. (2021) challenges this view: defining interpolation as the state of belonging to the convex hull of the training set, they show that the test set, either in input or neural space, cannot lie for the most part in this convex hull, due to the high dimensionality of the data, invoking the well known curse of dimensionality. Neural networks are then assumed to necessarily work in extrapolative mode. We here study the neural activities of the last hidden layer of typical neural networks. Using an autoencoder to uncover the intrinsic space underlying the neural activities, we show that this space is actually low-dimensional, and that the better the model, the lower the dimensionality of this intrinsic space. In this space, most samples of the test set actually lie in the convex hull of the training set: under the convex hull definition, the models thus happen to work in interpolation regime. Moreover, we show that belonging to the convex hull does not seem to be the relevant criteria. Different measures of proximity to the training set are actually better related to performance accuracy. Thus, typical neural networks do seem to operate in interpolation regime. Good generalization performances are linked to the ability of a neural network to operate well in such a regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google