Learning Curves for Decision Making in Supervised Machine Learning: A Survey

要約

学習曲線は、機械学習の文脈で採用された社会科学の概念であり、特定のリソース、たとえばトレーニングの例やトレーニングの繰り返し数に関する学習アルゴリズムのパフォーマンスを評価します。
学習曲線には、いくつかの機械学習コンテキスト、特にデータ収集、モデルトレーニングの早期停止、モデル選択において重要なアプリケーションがあります。
たとえば、学習曲線を使用して、アルゴリズムとそのハイパーパラメーター構成の組み合わせのパフォーマンスをモデル化し、初期段階での潜在的な適合性に関する洞察を提供し、しばしばアルゴリズムの選択プロセスを促進することができます。
意思決定に学習曲線を使用するために、さまざまな学習曲線モデルが提案されています。
これらのモデルの一部は、特定の予算で特定のアルゴリズムが特定の参照パフォーマンスを上回るかどうかのバイナリ決定問題に答えますが、より複雑なモデルはアルゴリズムの学習曲線全体を予測します。
3つの基準を使用して学習曲線アプローチを分類するフレームワークを提供します。彼らが対処する意思決定状況、彼らが答える固有の学習曲線の質問、および彼らが使用するリソースの種類。
文献から論文を調査し、それらをこのフレームワークに分類します。

要約(オリジナル)

Learning curves are a concept from social sciences that has been adopted in the context of machine learning to assess the performance of a learning algorithm with respect to a certain resource, e.g., the number of training examples or the number of training iterations. Learning curves have important applications in several machine learning contexts, most notably in data acquisition, early stopping of model training, and model selection. For instance, learning curves can be used to model the performance of the combination of an algorithm and its hyperparameter configuration, providing insights into their potential suitability at an early stage and often expediting the algorithm selection process. Various learning curve models have been proposed to use learning curves for decision making. Some of these models answer the binary decision question of whether a given algorithm at a certain budget will outperform a certain reference performance, whereas more complex models predict the entire learning curve of an algorithm. We contribute a framework that categorises learning curve approaches using three criteria: the decision-making situation they address, the intrinsic learning curve question they answer and the type of resources they use. We survey papers from the literature and classify them into this framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google