Is Transductive Learning Equivalent to PAC Learning?

要約

学習理論の分野におけるほとんどの研究は、効果的なおそらくほぼ正しい (PAC) 学習者の設計に焦点を当ててきました。
最近では、変換誤差などの他の学習モデルがさらに精査されるようになりました。
データセットに少数のサンプルを追加することで、PAC 保証を伴う不可知論的学習を変換的保証を伴う不可知論的学習に削減することで、これらの問題が同等であることを示す方向に進みます。
まず、Aden-Ali らの結果を再導出します。
arXiv:2304.09167 は、主な肯定的な結果の背景として、より単純な手法とより汎用性を使用して、実現可能な設定で PAC 学習をトランスダクティブ学習に削減しました。
私たちの不可知論的変換学習から PAC への変換技術は、前述の議論を不可知論的なケースに拡張し、不可知論的変換学習者が不可知論的 PAC 学習者に効率的に変換できることを示しています。
最後に、Asilis らの不可知論的な 1 包含グラフ アルゴリズムのパフォーマンスを特徴付けます。
arXiv:2309.13692 をバイナリ分類に使用し、それをリダクションに組み込むと、本質的に最適な不可知論的な PAC 学習器が得られることを示します。
私たちの結果は、変換学習と PAC 学習は、実現可能な設定では擬似損失を伴う教師あり学習と、不可知論的な設定ではバイナリ分類では本質的に同等であることを示唆しています。
これは、不可知論的な設定においてより一般的に当てはまると推測します。

要約(オリジナル)

Most work in the area of learning theory has focused on designing effective Probably Approximately Correct (PAC) learners. Recently, other models of learning such as transductive error have seen more scrutiny. We move toward showing that these problems are equivalent by reducing agnostic learning with a PAC guarantee to agnostic learning with a transductive guarantee by adding a small number of samples to the dataset. We first rederive the result of Aden-Ali et al. arXiv:2304.09167 reducing PAC learning to transductive learning in the realizable setting using simpler techniques and at more generality as background for our main positive result. Our agnostic transductive to PAC conversion technique extends the aforementioned argument to the agnostic case, showing that an agnostic transductive learner can be efficiently converted to an agnostic PAC learner. Finally, we characterize the performance of the agnostic one inclusion graph algorithm of Asilis et al. arXiv:2309.13692 for binary classification, and show that plugging it into our reduction leads to an agnostic PAC learner that is essentially optimal. Our results imply that transductive and PAC learning are essentially equivalent for supervised learning with pseudometric losses in the realizable setting, and for binary classification in the agnostic setting. We conjecture this is true more generally for the agnostic setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google