Valid Inference for Machine Learning Model Parameters

要約

機械学習モデルのパラメーターは、通常、一連のトレーニング データの損失関数を最小化することによって学習されます。
ただし、これにはオーバートレーニングのリスクが伴います。
モデルを適切に一般化するためには、特定のトレーニング サンプルだけでなく、母集団全体でモデルの最適なパラメーターを見つけることができることが非常に重要です。
このホワイト ペーパーでは、機械学習モデルのこの最適なパラメーターに対して有効な信頼セットを構築します。この信頼セットは、母集団に関する知識がなくてもトレーニング データのみを使用して生成できます。
次に、この信頼セットの分布を調べることで、パラメーター空間の任意の領域に信頼の概念を割り当てることができることを示し、ブートストラップ手法を使用してこの分布を適切に近似できることを示します。

要約(オリジナル)

The parameters of a machine learning model are typically learned by minimizing a loss function on a set of training data. However, this can come with the risk of overtraining; in order for the model to generalize well, it is of great importance that we are able to find the optimal parameter for the model on the entire population — not only on the given training sample. In this paper, we construct valid confidence sets for this optimal parameter of a machine learning model, which can be generated using only the training data without any knowledge of the population. We then show that studying the distribution of this confidence set allows us to assign a notion of confidence to arbitrary regions of the parameter space, and we demonstrate that this distribution can be well-approximated using bootstrapping techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google