Distinguishing the Indistinguishable: Human Expertise in Algorithmic Prediction

要約

人間の専門知識をアルゴリズム予測に組み込むための新しいフレームワークを紹介します。
私たちのアプローチは、実行可能な予測アルゴリズムに対して「同じに見える」入力を区別するために人間の判断を使用することに焦点を当てています。
専門家はアルゴリズムのトレーニング データにエンコードされていない情報、特に主観的な情報にアクセスできることが多いため、この枠組みによって予測タスクにおける人間と AI のコラボレーションの問題が明確になると私たちは主張します。
私たちはこの洞察を利用して、実行可能な予測子のパフォーマンスを向上させる場合にのみ人間のフィードバックを選択的に組み込む一連の原則に基づいたアルゴリズムを開発します。
私たちは、アルゴリズムが平均して人間のアルゴリズムよりも優れていることがよくありますが、人間の判断により、特定のインスタンス (事前に特定できる) に関するアルゴリズムの予測を大幅に向上させることができることを経験的に発見しました。
X 線分類タスクでは、このサブセットが患者集団のほぼ 30% を構成していることがわかります。
私たちのアプローチは、この異質性を明らかにする自然な方法を提供し、人間と AI の効果的なコラボレーションを可能にします。

要約(オリジナル)

We introduce a novel framework for incorporating human expertise into algorithmic predictions. Our approach focuses on the use of human judgment to distinguish inputs which `look the same’ to any feasible predictive algorithm. We argue that this framing clarifies the problem of human/AI collaboration in prediction tasks, as experts often have access to information — particularly subjective information — which is not encoded in the algorithm’s training data. We use this insight to develop a set of principled algorithms for selectively incorporating human feedback only when it improves the performance of any feasible predictor. We find empirically that although algorithms often outperform their human counterparts on average, human judgment can significantly improve algorithmic predictions on specific instances (which can be identified ex-ante). In an X-ray classification task, we find that this subset constitutes nearly 30% of the patient population. Our approach provides a natural way of uncovering this heterogeneity and thus enabling effective human-AI collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google