Incorporating Prior Knowledge into Neural Networks through an Implicit Composite Kernel

要約

事前知識を使ってニューラル ネットワーク (NN) 学習をガイドするのは困難です。
対照的に、空間平滑性や季節性などの多くの既知の特性は、ガウス プロセス (GP) で適切なカーネルを選択することで簡単にモデル化できます。
多くの深層学習アプリケーションは、このような既知のプロパティをモデル化することで強化できます。
たとえば、畳み込みニューラル ネットワーク (CNN) は、季節的な強い影響を受けるリモート センシングで頻繁に使用されます。
私たちは、ニューラル ネットワークによって暗黙的に定義されたカーネルと、既知の特性 (季節性など) をモデル化するために選択された 2 番目のカーネル関数を組み合わせる複合カーネルを使用することで、深層学習の長所と GP の明確なモデリング機能を融合することを提案します。
このアイデアは、深いネットワークと、Implicit Composite Kernel (ICK) と呼ばれる Nystrom 近似に基づく効率的なマッピングを組み合わせることによって実装されます。
次に、サンプルを作成してから最適化するアプローチを採用して、完全な GP 事後分布を近似します。
私たちは、ICK が合成データセットと現実世界のデータセットの両方で優れたパフォーマンスと柔軟性を備えていることを実証します。
私たちは、ICK フレームワークを使用して、多くのアプリケーションでニューラル ネットワークに事前情報を組み込むことができると考えています。

要約(オリジナル)

It is challenging to guide neural network (NN) learning with prior knowledge. In contrast, many known properties, such as spatial smoothness or seasonality, are straightforward to model by choosing an appropriate kernel in a Gaussian process (GP). Many deep learning applications could be enhanced by modeling such known properties. For example, convolutional neural networks (CNNs) are frequently used in remote sensing, which is subject to strong seasonal effects. We propose to blend the strengths of deep learning and the clear modeling capabilities of GPs by using a composite kernel that combines a kernel implicitly defined by a neural network with a second kernel function chosen to model known properties (e.g., seasonality). We implement this idea by combining a deep network and an efficient mapping based on the Nystrom approximation, which we call Implicit Composite Kernel (ICK). We then adopt a sample-then-optimize approach to approximate the full GP posterior distribution. We demonstrate that ICK has superior performance and flexibility on both synthetic and real-world data sets. We believe that ICK framework can be used to include prior information into neural networks in many applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google