Incorporating Experts’ Judgment into Machine Learning Models

要約

タイトル：機械学習モデルに専門家の判断を取り入れる方法
要約：
– 機械学習モデルは、多くのアプリケーションでその成果を示しているが、時にはドメイン専門家の予測と矛盾することがある。
– その主な理由は、トレーニングデータがポピュレーションを完全に表現していないことが挙げられる。
– 本論文では、新しいフレームワークを提供し、専門家の判断を利用してこれらの矛盾を解決することを目的としている。
– フレームワークの基本的アイデアは、敵対的生成ネットワークを用いて、トレーニングデータにおける非ラベルのデータポイントがどの程度表現されているかを決定することである。
– その度合いに基づいて、専門家の判断を機械学習モデルの予測に取り込むことで、補正する。
– その度合いが高いほど、専門家の判断を補正出力に追加する重みは軽くなり、逆もまた同様である。
– 著者らは、合成データ及びITサービス業界と金融業界からの2つの実世界のケーススタディで複数の数値実験を実施した。
– その結果、当フレームワークは、複数のベースライン手法と比較して、予測の精度を最小限犠牲にし、専門家の判断に近いものを提供することができたことが示された。
– また、著者らは、予測精度と専門家の判断に近さを組み合わせた新しい評価尺度を開発した。
– その評価尺度で評価したところ、このフレームワークは統計的に有意な結果を示した。

要約(オリジナル)

Machine learning (ML) models have been quite successful in predicting outcomes in many applications. However, in some cases, domain experts might have a judgment about the expected outcome that might conflict with the prediction of ML models. One main reason for this is that the training data might not be totally representative of the population. In this paper, we present a novel framework that aims at leveraging experts’ judgment to mitigate the conflict. The underlying idea behind our framework is that we first determine, using a generative adversarial network, the degree of representation of an unlabeled data point in the training data. Then, based on such degree, we correct the \textcolor{black}{machine learning} model’s prediction by incorporating the experts’ judgment into it, where the higher that aforementioned degree of representation, the less the weight we put on the expert intuition that we add to our corrected output, and vice-versa. We perform multiple numerical experiments on synthetic data as well as two real-world case studies (one from the IT services industry and the other from the financial industry). All results show the effectiveness of our framework; it yields much higher closeness to the experts’ judgment with minimal sacrifice in the prediction accuracy, when compared to multiple baseline methods. We also develop a new evaluation metric that combines prediction accuracy with the closeness to experts’ judgment. Our framework yields statistically significant results when evaluated on that metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI