More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms

要約

PAC-ベイジアン理論を使用したメタ学習方法を研究するための新しいフレームワークを紹介します。
以前の作品と比べた主な利点は、タスク間の知識の伝達をより柔軟に実現できることです。
以前のアプローチでは、これはモデル全体の事前分布を学習することによって間接的にのみ発生します。
対照的に、私たちが証明した新しい一般化限界は、将来のタスクに使用されるべき学習アルゴリズムの学習として、メタ学習のプロセスをより直接的に表現します。
私たちのフレームワークの柔軟性により、幅広いメタ学習メカニズムの分析や、新しいメカニズムの設計にも適しています。
私たちの理論的貢献以外に、私たちのフレームワークが実際のメタ学習メカニズムの予測品質を向上させることも経験的に示しています。

要約(オリジナル)

We introduce a new framework for studying meta-learning methods using PAC-Bayesian theory. Its main advantage over previous work is that it allows for more flexibility in how the transfer of knowledge between tasks is realized. For previous approaches, this could only happen indirectly, by means of learning prior distributions over models. In contrast, the new generalization bounds that we prove express the process of meta-learning much more directly as learning the learning algorithm that should be used for future tasks. The flexibility of our framework makes it suitable to analyze a wide range of meta-learning mechanisms and even design new mechanisms. Other than our theoretical contributions we also show empirically that our framework improves the prediction quality in practical meta-learning mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google