Partially Stochastic Infinitely Deep Bayesian Neural Networks

要約

この論文では、部分確率性を無限深ニューラル ネットワークのフレームワークに統合する新しいアーキテクチャ ファミリである、部分確率的無限深ベイジアン ニューラル ネットワークを紹介します。
私たちの新しいクラスのアーキテクチャは、トレーニング時と推論時の計算効率に関する既存のアーキテクチャの制限を改善するように設計されています。
これを行うために、完全な確率性の利点を含む、無限の深さの制限における部分的確率性の利点を活用します。
計算の複雑さに関する制限を改善しながら、ロバスト性、不確実性の定量化、メモリ効率を向上させます。
さまざまなアーキテクチャ構成を提示し、ウェイト パーティションのさまざまな方法を含むネットワーク設計の柔軟性を提供します。
また、ネットワーク ファミリがユニバーサル条件付き分布近似器としての資格を確立することにより、モデルの表現力に対する数学的保証も提供します。
最後に、複数のタスクにわたる経験的評価により、私たちが提案するアーキテクチャは、同等のものよりも大幅に効率的でありながら、より優れた下流タスクのパフォーマンスと不確実性の定量化を達成することが示されています。

要約(オリジナル)

In this paper, we present Partially Stochastic Infinitely Deep Bayesian Neural Networks, a novel family of architectures that integrates partial stochasticity into the framework of infinitely deep neural networks. Our new class of architectures is designed to improve the limitations of existing architectures around computational efficiency at training and inference time. To do this, we leverage the advantages of partial stochasticity in the infinite-depth limit which include the benefits of full stochasticity e.g. robustness, uncertainty quantification, and memory efficiency, whilst improving their limitations around computational complexity. We present a variety of architectural configurations, offering flexibility in network design including different methods for weight partition. We also provide mathematical guarantees on the expressivity of our models by establishing that our network family qualifies as Universal Conditional Distribution Approximators. Lastly, empirical evaluations across multiple tasks show that our proposed architectures achieve better downstream task performance and uncertainty quantification than their counterparts while being significantly more efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google