Gaussian Process Surrogate Models for Neural Networks

要約

深層学習システムの動作を理解して予測できないため、特定の問題に対してどのアーキテクチャとアルゴリズムを使用するかを決定することが困難になります。
科学と工学において、モデリングは、内部プロセスが不透明な複雑なシステムを理解するために使用される方法論です。
モデリングは、複雑なシステムをより単純で解釈しやすいサロゲートに置き換えます。
ここからインスピレーションを得て、ガウス プロセスを使用してニューラル ネットワークの代理モデルのクラスを構築します。
無限ニューラル ネットワークのカーネルを導出するのではなく、有限ニューラル ネットワークの自然主義的な動作から経験的にカーネルを学習します。
私たちのアプローチがニューラル ネットワークのスペクトル バイアスに関連する既存の現象を捉えていることを実証し、次に、どの点が特定のニューラル ネットワークの動作に最も影響を与えるかを特定し、どのアーキテクチャとアルゴリズムが影響を与えるかを予測するなど、実際的な問題を解決するためにサロゲート モデルを使用できることを示します。
特定のデータセットに対して適切に一般化します。

要約(オリジナル)

Not being able to understand and predict the behavior of deep learning systems makes it hard to decide what architecture and algorithm to use for a given problem. In science and engineering, modeling is a methodology used to understand complex systems whose internal processes are opaque. Modeling replaces a complex system with a simpler, more interpretable surrogate. Drawing inspiration from this, we construct a class of surrogate models for neural networks using Gaussian processes. Rather than deriving kernels for infinite neural networks, we learn kernels empirically from the naturalistic behavior of finite neural networks. We demonstrate our approach captures existing phenomena related to the spectral bias of neural networks, and then show that our surrogate models can be used to solve practical problems such as identifying which points most influence the behavior of specific neural networks and predicting which architectures and algorithms will generalize well for specific datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google