Convolutional Deep Kernel Machines

要約

ディープ カーネル マシン (DKM) は、ディープ NN やディープ ガウス プロセスを含む他のディープ モデルの柔軟性を備えた、最近導入されたカーネル手法です。
DKM は機能ではなく純粋にカーネルで動作するため、NN からディープ カーネル ラーニング、さらにはディープ ガウス プロセスに至るまで、すべて基本コンポーネントとして機能を使用する他の方法とは異なります。
ここでは、効率的なドメイン間誘導点近似スキームとともに、畳み込み DKM を紹介します。
さらに、畳み込み DKM 用に設計された 9 つの異なるタイプの正規化、2 つの尤度、および 2 つの異なるタイプの最上位層を含む、多数のモデルのバリアントを開発し、実験的に評価します。
結果として得られたモデルは、わずか約 28 GPU 時間でトレーニングしたにもかかわらず、MNIST で約 99%、CIFAR-10 で 92%、CIFAR-100 で 71% のテスト精度を達成し、完全な NNGP / NTK / Myrtle カーネルより 1 ～ 2 桁高速です。
同等のパフォーマンスを達成しながら。

要約(オリジナル)

Deep kernel machines (DKMs) are a recently introduced kernel method with the flexibility of other deep models including deep NNs and deep Gaussian processes. DKMs work purely with kernels, never with features, and are therefore different from other methods ranging from NNs to deep kernel learning and even deep Gaussian processes, which all use features as a fundamental component. Here, we introduce convolutional DKMs, along with an efficient inter-domain inducing point approximation scheme. Further, we develop and experimentally assess a number of model variants, including 9 different types of normalisation designed for the convolutional DKMs, two likelihoods, and two different types of top-layer. The resulting models achieve around 99% test accuracy on MNIST, 92% on CIFAR-10 and 71% on CIFAR-100, despite training in only around 28 GPU hours, 1-2 orders of magnitude faster than full NNGP / NTK / Myrtle kernels, whilst achieving comparable performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google