Monotone Learning

要約

学習データの量は、学習アルゴリズムの汎化能力を決定する重要な要因の一つである。直感的には、学習データの量が増えるにつれてエラー率が減少すると予想される。驚くべきことに、この直観を定式化しようとする自然な試みは、興味深く挑戦的な数学的問題を生み出す。例えば、Devroye, Gyorfi, and Lugosi (1996)は、パターン認識に関する古典的な本の中で、{単調}ベイズ一致アルゴリズムが存在するかどうかを問うている。ベイズ一致アルゴリズムが存在するかどうか。この疑問は25年以上未解決のままであったが、最近Pestov(2021)が単調ベイズ一致アルゴリズムの複雑な構造を用いて、二値分類について解決した。 我々は、多クラス分類における一般的な結果を導出し、全ての学習アルゴリズムAは、同様の性能を持つ単調なものに変換できることを示す。さらに、この変換は効率的であり、Aへのブラックボックスオラクルアクセスを用いるだけである。これは、性能を損なうことなく、非単調な振る舞いを証明的に回避できることを示しており、Devroye et al (1996)、Viering, Mey, and Loog (2019)、Viering and Loog (2021)、Mhammedi (2021)の疑問に答えている。 我々の変換は、様々な文脈で単調学習者を容易に含意する：例えば、Pestovの結果を任意の数のラベルを持つ分類タスクに拡張する。これは、二値分類に合わせたPestovの研究とは対照的である。 さらに、我々は単調アルゴリズムの誤差に一様な境界を与える。これにより、我々の変換は分布のない設定でも適用できる。例えば、PAC学習では、全ての学習可能なクラスが単調PAC学習器を認めることを意味する。これは、Viering, Mey, and Loog (2019); Viering and Loog (2021); Mhammedi (2021)による疑問を解決する。

要約(オリジナル)

The amount of training-data is one of the key factors which determines the generalization capacity of learning algorithms. Intuitively, one expects the error rate to decrease as the amount of training-data increases. Perhaps surprisingly, natural attempts to formalize this intuition give rise to interesting and challenging mathematical questions. For example, in their classical book on pattern recognition, Devroye, Gyorfi, and Lugosi (1996) ask whether there exists a {monotone} Bayes-consistent algorithm. This question remained open for over 25 years, until recently Pestov (2021) resolved it for binary classification, using an intricate construction of a monotone Bayes-consistent algorithm. We derive a general result in multiclass classification, showing that every learning algorithm A can be transformed to a monotone one with similar performance. Further, the transformation is efficient and only uses a black-box oracle access to A. This demonstrates that one can provably avoid non-monotonic behaviour without compromising performance, thus answering questions asked by Devroye et al (1996), Viering, Mey, and Loog (2019), Viering and Loog (2021), and by Mhammedi (2021). Our transformation readily implies monotone learners in a variety of contexts: for example it extends Pestov’s result to classification tasks with an arbitrary number of labels. This is in contrast with Pestov’s work which is tailored to binary classification. In addition, we provide uniform bounds on the error of the monotone algorithm. This makes our transformation applicable in distribution-free settings. For example, in PAC learning it implies that every learnable class admits a monotone PAC learner. This resolves questions by Viering, Mey, and Loog (2019); Viering and Loog (2021); Mhammedi (2021).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL