Learnability, Sample Complexity, and Hypothesis Class Complexity for Regression Models

要約

学習アルゴリズムの目標は、トレーニング データ セットを入力として受け取り、ドメイン セットからすべての可能なデータ ポイントに一般化できる仮説を提供することです。
仮説は、潜在的に異なる複雑さを持つ仮説クラスから選択されます。
線形回帰モデリングは、学習アルゴリズムの重要なカテゴリです。
ターゲット サンプルの実際の不確実性は、学習したモデルの汎化パフォーマンスに影響します。
適切なモデルまたは仮説クラスを選択しないと、適合不足や過剰適合などの深刻な問題につながる可能性があります。
これらの問題は、コスト関数を変更するか、交差検証法を利用することで解決されています。
これらのアプローチは、独自の新しい課題と不確実性を伴う新しいハイパーパラメーターを導入したり、学習アルゴリズムの計算の複雑さを増加させたりする可能性があります。
一方、おそらくほぼ正しい (PAC) の理論は、確率論的設定に基づいて学習可能性を定義することを目的としています。
その理論的価値にもかかわらず、PAC は多くの場合、実際的な学習の問題に対処していません。
この作業は、PAC の基礎に着想を得ており、既存の回帰学習の問題に動機付けられています。
提案されたアプローチは、epsilon-Confidence About Correct (epsilon CoAC) で示され、Kullback Leibler divergence (相対エントロピー) を利用し、学習可能性の問題に取り組むためにハイパーパラメーターのセット内の新しい関連する典型的なセットを提案します。
さらに、学習者は異なる複雑さの順序の仮説クラスを比較し、それらの中からイプシロン CoAC フレームワークの最小イプシロンで最適なものを選択できます。
イプシロン CoAC の学習可能性は、オーバーフィッティングとアンダーフィッティングの問題を克服するだけでなく、時間消費の意味でも精度の意味でも、よく知られている交差検証法に対する利点と優位性を示しています。

要約(オリジナル)

The goal of a learning algorithm is to receive a training data set as input and provide a hypothesis that can generalize to all possible data points from a domain set. The hypothesis is chosen from hypothesis classes with potentially different complexities. Linear regression modeling is an important category of learning algorithms. The practical uncertainty of the target samples affects the generalization performance of the learned model. Failing to choose a proper model or hypothesis class can lead to serious issues such as underfitting or overfitting. These issues have been addressed by alternating cost functions or by utilizing cross-validation methods. These approaches can introduce new hyperparameters with their own new challenges and uncertainties or increase the computational complexity of the learning algorithm. On the other hand, the theory of probably approximately correct (PAC) aims at defining learnability based on probabilistic settings. Despite its theoretical value, PAC does not address practical learning issues on many occasions. This work is inspired by the foundation of PAC and is motivated by the existing regression learning issues. The proposed approach, denoted by epsilon-Confidence Approximately Correct (epsilon CoAC), utilizes Kullback Leibler divergence (relative entropy) and proposes a new related typical set in the set of hyperparameters to tackle the learnability issue. Moreover, it enables the learner to compare hypothesis classes of different complexity orders and choose among them the optimum with the minimum epsilon in the epsilon CoAC framework. Not only the epsilon CoAC learnability overcomes the issues of overfitting and underfitting, but it also shows advantages and superiority over the well known cross-validation method in the sense of time consumption as well as in the sense of accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google