Human Expertise in Algorithmic Prediction

要約

人間の専門知識をアルゴリズム予測に組み込むための新しいフレームワークを紹介します。
私たちのアプローチは人間の判断を活用して、アルゴリズム的に区別できない入力、または予測アルゴリズムにとって「同じに見える」入力を区別します。
専門家はアルゴリズムのトレーニング データにエンコードされていない情報に基づいて判断を下すことが多いため、この枠組みは予測タスクにおける人間と AI のコラボレーションの問題を明確にする、と私たちは主張します。
アルゴリズムによる識別不能性は、専門家がこの種の「サイド情報」を組み込んでいるかどうかを評価するための自然なテストをもたらし、さらに人間のフィードバックをアルゴリズム予測に選択的に組み込むための単純だが原則に基づいた方法を提供します。
この方法により、実行可能なアルゴリズム予測子のパフォーマンスが明らかに向上し、この向上が正確に定量化されることを示します。
私たちは、アルゴリズムが平均して人間のアルゴリズムよりも優れていることがよくありますが、人間の判断により、特定のインスタンス (事前に特定できる) に対するアルゴリズムの予測を改善できることが経験的にわかっています。
X 線分類タスクでは、このサブセットが患者集団のほぼ $30\%$ を構成していることがわかります。
私たちのアプローチは、この異質性を明らかにする自然な方法を提供し、人間と AI の効果的なコラボレーションを可能にします。

要約(オリジナル)

We introduce a novel framework for incorporating human expertise into algorithmic predictions. Our approach leverages human judgment to distinguish inputs which are algorithmically indistinguishable, or ‘look the same’ to predictive algorithms. We argue that this framing clarifies the problem of human-AI collaboration in prediction tasks, as experts often form judgments by drawing on information which is not encoded in an algorithm’s training data. Algorithmic indistinguishability yields a natural test for assessing whether experts incorporate this kind of ‘side information’, and further provides a simple but principled method for selectively incorporating human feedback into algorithmic predictions. We show that this method provably improves the performance of any feasible algorithmic predictor and precisely quantify this improvement. We find empirically that although algorithms often outperform their human counterparts on average, human judgment can improve algorithmic predictions on specific instances (which can be identified ex-ante). In an X-ray classification task, we find that this subset constitutes nearly $30\%$ of the patient population. Our approach provides a natural way of uncovering this heterogeneity and thus enabling effective human-AI collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google