The Neural Process Family: Survey, Applications and Perspectives

要約

ニューラル ネットワークの実装に対する標準的なアプローチは、強力な関数近似機能をもたらしますが、メタ表現を学習し、予測における確率論的不確実性を推論する能力には限界があります。
一方、ガウス過程は、ベイジアン学習スキームを採用してそのような不確実性を推定しますが、その効率と近似能力によって制約されます。
Neural Processes Family (NPF) は、ニューラル ネットワークを活用して予測の不確実性をメタ学習することで、両方の長所を提供することを目的としています。
このような可能性は、近年、家族に実質的な研究活動をもたらしました.
したがって、NPF モデルの動機、方法論、および実験を整理して関連付けるには、NPF モデルの包括的な調査が必要です。
この論文では、ファミリーメンバーに関する製剤、研究テーマ、およびアプリケーションをより深く掘り下げながら、このギャップに対処することを意図しています。
私たちは、他の深層学習分野におけるいくつかの最近の進歩を 1 つの傘の下にもたらす可能性に光を当てます。
次に、ファミリの厳密な分類法を提供し、1 次元、2 次元、および 3 次元の入力ドメインで動作するデータ生成関数をモデル化する能力を経験的に示します。
この分野での研究の進歩を後押しする有望な方向性について、私たちの見解を議論することで締めくくります。
実験用のコードは、https://github.com/srvCodes/neural-processes-survey で入手できるようになります。

要約(オリジナル)

The standard approaches to neural network implementation yield powerful function approximation capabilities but are limited in their abilities to learn meta representations and reason probabilistic uncertainties in their predictions. Gaussian processes, on the other hand, adopt the Bayesian learning scheme to estimate such uncertainties but are constrained by their efficiency and approximation capacity. The Neural Processes Family (NPF) intends to offer the best of both worlds by leveraging neural networks for meta-learning predictive uncertainties. Such potential has brought substantial research activity to the family in recent years. Therefore, a comprehensive survey of NPF models is needed to organize and relate their motivation, methodology, and experiments. This paper intends to address this gap while digging deeper into the formulation, research themes, and applications concerning the family members. We shed light on their potential to bring several recent advances in other deep learning domains under one umbrella. We then provide a rigorous taxonomy of the family and empirically demonstrate their capabilities for modeling data generating functions operating on 1-d, 2-d, and 3-d input domains. We conclude by discussing our perspectives on the promising directions that can fuel the research advances in the field. Code for our experiments will be made available at https://github.com/srvCodes/neural-processes-survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google