Bayesian Quadrature for Neural Ensemble Search

要約

アンサンブルはニューラル ネットワークのパフォーマンスを向上させることができますが、既存のアプローチは、アーキテクチャの尤度面が分散した狭いピークを持つ場合に苦労します。
さらに、既存の方法は均等に重み付けされたアンサンブルを構築します。これは、より弱いアーキテクチャの障害モードに対して脆弱である可能性があります。
アンサンブルをアーキテクチャのほぼ周辺化と見なすことで、ベイジアン求積法のツールを使用してアンサンブルを構築します。これは、分散した狭いピークを持つ尤度面の調査に適したツールです。
さらに、結果として得られるアンサンブルは、パフォーマンスに見合った重み付けされたアーキテクチャで構成されます。
テストの可能性、精度、および予想される較正誤差の観点から、私たちの方法が最先端のベースラインよりも優れていることを経験的に示し、そのコンポーネントが独立してそうするアブレーション研究を介して検証します。

要約(オリジナル)

Ensembling can improve the performance of Neural Networks, but existing approaches struggle when the architecture likelihood surface has dispersed, narrow peaks. Furthermore, existing methods construct equally weighted ensembles, and this is likely to be vulnerable to the failure modes of the weaker architectures. By viewing ensembling as approximately marginalising over architectures we construct ensembles using the tools of Bayesian Quadrature — tools which are well suited to the exploration of likelihood surfaces with dispersed, narrow peaks. Additionally, the resulting ensembles consist of architectures weighted commensurate with their performance. We show empirically — in terms of test likelihood, accuracy, and expected calibration error — that our method outperforms state-of-the-art baselines, and verify via ablation studies that its components do so independently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google