Wasserstein PAC-Bayes Learning: A Bridge Between Generalisation and Optimisation

要約

タイトル：Wasserstein PAC-Bayes Learning：一般化と最適化の橋渡し
要約：

– PAC-Bayes学習は、学習アルゴリズムの一般化能力を評価するための確立されたフレームワークである。
– しかし、よく知られたアルゴリズムの出力がなぜ一般化するのかを事前に理解するためにPAC-Bayesが役立つかどうかは、未だに課題が残る。
– この問題に肯定的に答えるために、\emph{Wasserstein PAC-Bayes}フレームワークを拡張し、新しい幾何的仮定を利用した新しい一般化境界を提供する。
– このフレームワークを使用して、\citet{lambert2022variational}のアルゴリズムの出力が強い漸近的一般化能力を持つことを、訓練前に証明することができる。
– より具体的には、最適化結果を一般化フレームワークに統合することで、PAC-Bayesと最適化アルゴリズムの橋渡しを構築することが可能である。

要約(オリジナル)

PAC-Bayes learning is an established framework to assess the generalisation ability of learning algorithm during the training phase. However, it remains challenging to know whether PAC-Bayes is useful to understand, before training, why the output of well-known algorithms generalise well. We positively answer this question by expanding the \emph{Wasserstein PAC-Bayes} framework, briefly introduced in \cite{amit2022ipm}. We provide new generalisation bounds exploiting geometric assumptions on the loss function. Using our framework, we prove, before any training, that the output of an algorithm from \citet{lambert2022variational} has a strong asymptotic generalisation ability. More precisely, we show that it is possible to incorporate optimisation results within a generalisation framework, building a bridge between PAC-Bayes and optimisation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI