Beyond algorithm hyperparameters: on preprocessing hyperparameters and associated pitfalls in machine learning applications

要約

教師あり機械学習 (ML) に基づいて予測モデルを適切に生成して評価することは、特に応用研究分野の経験の浅いユーザーにとっては困難なことがよくあります。
モデル生成プロセスにハイパーパラメーター調整、つまり、結果として得られるモデルの予測パフォーマンスを向上させるためのさまざまなタイプのハイパーパラメーターのデータ駆動型の最適化が含まれる設定では、特別な注意が必要です。
チューニングに関する議論は通常、ML アルゴリズムのハイパーパラメータ (ツリーベースのアルゴリズムの各終端ノードの最小観測値など) に焦点を当てます。
この文脈では、データがアルゴリズムに提供される前にデータに適用される前処理ステップ (データ内の欠落している特徴値の処理方法など) にもハイパーパラメーターが存在することが無視されることがよくあります。
その結果、モデルのパフォーマンスを向上させるためにさまざまな前処理オプションを試しているユーザーは、これが非公式で非体系的であるにもかかわらず、一種のハイパーパラメータ調整であることに気づかず、この最適化を報告したり説明したりできない可能性があります。
この問題を明らかにするために、このペーパーでは、予測モデルの生成と評価のさまざまな手順を検討し、実証的に説明し、ML を適用するユーザーが一般にアルゴリズムと前処理ハイパーパラメータを処理するさまざまな方法に明示的に対処します。
このレビューでは、潜在的な落とし穴、特にパフォーマンスの誇張につながる可能性のある落とし穴を強調することで、ML アプリケーションにおける予測モデリングの品質をさらに向上させることを目的としています。

要約(オリジナル)

Adequately generating and evaluating prediction models based on supervised machine learning (ML) is often challenging, especially for less experienced users in applied research areas. Special attention is required in settings where the model generation process involves hyperparameter tuning, i.e. data-driven optimization of different types of hyperparameters to improve the predictive performance of the resulting model. Discussions about tuning typically focus on the hyperparameters of the ML algorithm (e.g., the minimum number of observations in each terminal node for a tree-based algorithm). In this context, it is often neglected that hyperparameters also exist for the preprocessing steps that are applied to the data before it is provided to the algorithm (e.g., how to handle missing feature values in the data). As a consequence, users experimenting with different preprocessing options to improve model performance may be unaware that this constitutes a form of hyperparameter tuning – albeit informal and unsystematic – and thus may fail to report or account for this optimization. To illuminate this issue, this paper reviews and empirically illustrates different procedures for generating and evaluating prediction models, explicitly addressing the different ways algorithm and preprocessing hyperparameters are typically handled by applied ML users. By highlighting potential pitfalls, especially those that may lead to exaggerated performance claims, this review aims to further improve the quality of predictive modeling in ML applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google