Incorporating Experts’ Judgment into Machine Learning Models

要約

タイトル：機械学習モデルに専門家の判断を組み込む

要約：

– 機械学習モデルは、多くのアプリケーションで成功しているが、時には領域の専門家が予測と異なる予測をすることがある。
– その主な理由は、トレーニングデータが人口の完全な代表ではない場合があるため。
– この論文では、専門家の判断を活用する新しいフレームワークを提案している。
– フレームワークのアイデアは、教師なし学習を用いてトレーニングデータ内のラベルの割合を決定し、それに基づいて機械学習モデルの予測を修正することで、専門家の判断を取り入れることにある。
– 我々は、合成データと2つの実世界のケーススタディ（ITサービス業界と金融業界から）で複数の数値実験を行い、我々のフレームワークの有効性を示した。我々のフレームワークは、複数のベースライン方法と比較して、予測精度を最小限に犠牲にしつつ専門家の判断に近づけることができる。
– 我々は、予測精度と専門家の判断に近づく点を組み合わせた新しい評価メトリックも開発した。我々のフレームワークは、そのメトリックで評価されたときに統計的に有意な結果を示す。

要約(オリジナル)

Machine learning (ML) models have been quite successful in predicting outcomes in many applications. However, in some cases, domain experts might have a judgment about the expected outcome that might conflict with the prediction of ML models. One main reason for this is that the training data might not be totally representative of the population. In this paper, we present a novel framework that aims at leveraging experts’ judgment to mitigate the conflict. The underlying idea behind our framework is that we first determine, using a generative adversarial network, the degree of representation of an unlabeled data point in the training data. Then, based on such degree, we correct the \textcolor{black}{machine learning} model’s prediction by incorporating the experts’ judgment into it, where the higher that aforementioned degree of representation, the less the weight we put on the expert intuition that we add to our corrected output, and vice-versa. We perform multiple numerical experiments on synthetic data as well as two real-world case studies (one from the IT services industry and the other from the financial industry). All results show the effectiveness of our framework; it yields much higher closeness to the experts’ judgment with minimal sacrifice in the prediction accuracy, when compared to multiple baseline methods. We also develop a new evaluation metric that combines prediction accuracy with the closeness to experts’ judgment. Our framework yields statistically significant results when evaluated on that metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI