Stronger Baseline Models — A Key Requirement for Aligning Machine Learning Research with Clinical Utility

要約

機械学習 (ML) の研究は、多様なアプリケーション ドメインにわたる予測モデリングの成功により、近年大幅に増加しています。
ただし、一か八かの臨床現場で ML モデルを導入しようとすると、モデルの透明性の欠如 (または推論プロセスを監査できないこと)、サイロ化されたデータ ソースによる大規模なトレーニング データ要件、複雑なメトリクスなど、よく知られた障壁が存在します。
測定モデルのユーティリティ。
この研究では、ヘルスケア ML 評価に強力なベースライン モデルを含めることが、実務家がこれらの課題に対処するのに役立つ重要な下流効果があることを経験的に示しています。
一連のケーススタディを通じて、ベースラインを省略したり、弱いベースライン モデル (最適化を行わない線形モデルなど) と比較したりする一般的な手法が、研究文献で提案されている ML 手法の価値を曖昧にしていることがわかりました。
これらの洞察を使用して、医療従事者が臨床現場で ML モデルをより効果的に研究および展開できるようにするいくつかのベスト プラクティスを提案します。

要約(オリジナル)

Machine Learning (ML) research has increased substantially in recent years, due to the success of predictive modeling across diverse application domains. However, well-known barriers exist when attempting to deploy ML models in high-stakes, clinical settings, including lack of model transparency (or the inability to audit the inference process), large training data requirements with siloed data sources, and complicated metrics for measuring model utility. In this work, we show empirically that including stronger baseline models in healthcare ML evaluations has important downstream effects that aid practitioners in addressing these challenges. Through a series of case studies, we find that the common practice of omitting baselines or comparing against a weak baseline model (e.g. a linear model with no optimization) obscures the value of ML methods proposed in the research literature. Using these insights, we propose some best practices that will enable practitioners to more effectively study and deploy ML models in clinical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google