Information-Theoretic Analysis of Minimax Excess Risk

要約

機械学習理論で研究される 2 つの主な概念は、汎化ギャップ (トレーニング エラーとテスト エラーの差) と過剰リスク (テスト エラーと最小可能エラーの差) です。
学習アルゴリズムの一般化のギャップを研究するために情報理論ツールが広く使用されてきましたが、過剰リスクの情報理論的性質はまだ十分に調査されていません。
このホワイト ペーパーでは、この目標に向かっていくつかの手順を実行します。
ミニマックス超過リスクの頻度論的問題を、アルゴリズム設計者と世界との間のゼロサム ゲームと見なします。
次に、プレイの順序を交換できるようにこのゲームを変更することが望ましいと主張します。
次に、いくつかの規則性条件下で、世界とデザイナーがランダムにプレイできる場合、二重性のギャップはゼロであり、プレイの順序を変更できることを証明します。
この場合、双対表現でベイズ問題が表面化します。
これにより、ベイジアン学習における最小超過リスクに関する最近の情報理論の結果を利用して、最小超過リスクの範囲を提供することが可能になります。
問題の 2 つの重要なクラスに関する情報理論的洞察を提供することにより、結果の適用可能性を示します。仮説空間が有限の VC 次元を持つ場合の分類と、正則化された最小二乗法です。

要約(オリジナル)

Two main concepts studied in machine learning theory are generalization gap (difference between train and test error) and excess risk (difference between test error and the minimum possible error). While information-theoretic tools have been used extensively to study the generalization gap of learning algorithms, the information-theoretic nature of excess risk has not yet been fully investigated. In this paper, some steps are taken toward this goal. We consider the frequentist problem of minimax excess risk as a zero-sum game between the algorithm designer and the world. Then, we argue that it is desirable to modify this game in a way that the order of play can be swapped. We then prove that, under some regularity conditions, if the world and designer can play randomly the duality gap is zero and the order of play can be changed. In this case, a Bayesian problem surfaces in the dual representation. This makes it possible to utilize recent information-theoretic results on minimum excess risk in Bayesian learning to provide bounds on the minimax excess risk. We demonstrate the applicability of the results by providing information theoretic insight on two important classes of problems: classification when the hypothesis space has finite VC-dimension, and regularized least squares.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google