Assisting Human Decisions in Document Matching

要約

査読における論文査読者の割り当てから採用のための求職者のマッチングまで、多くの実用的なアプリケーションでは、人間の意思決定者が専門知識と機械学習モデルからの予測を組み合わせて、関連するマッチングを特定する必要があります。
このようなモデル支援ドキュメント マッチング タスクの多くで、意思決定者は、意思決定を容易にするために、モデルの出力 (またはデータ) に関する支援情報の必要性を強調してきました。
この論文では、どの種類の支援情報が意思決定者のパフォーマンスを (精度と時間の点で) 向上させるかを評価できるプロキシ マッチング タスクを考案します。
クラウドソーシングによる (N=271 参加者) 研究を通じて、ブラックボックス モデルの説明を提供すると、モデルの理解を深めることで役立つという一般的な信念とは対照的に、マッチング タスクでのユーザーの精度が低下することがわかりました。
一方、特定のタスクに厳密に対応するように設計されたカスタム メソッドは、ユーザー パフォーマンスの向上に効果的であることがわかっています。
驚くべきことに、ユーザーが認識している支援情報の有用性は、客観的な有用性 (タスクのパフォーマンスを通じて測定) と一致していないこともわかりました。

要約(オリジナル)

Many practical applications, ranging from paper-reviewer assignment in peer review to job-applicant matching for hiring, require human decision makers to identify relevant matches by combining their expertise with predictions from machine learning models. In many such model-assisted document matching tasks, the decision makers have stressed the need for assistive information about the model outputs (or the data) to facilitate their decisions. In this paper, we devise a proxy matching task that allows us to evaluate which kinds of assistive information improve decision makers’ performance (in terms of accuracy and time). Through a crowdsourced (N=271 participants) study, we find that providing black-box model explanations reduces users’ accuracy on the matching task, contrary to the commonly-held belief that they can be helpful by allowing better understanding of the model. On the other hand, custom methods that are designed to closely attend to some task-specific desiderata are found to be effective in improving user performance. Surprisingly, we also find that the users’ perceived utility of assistive information is misaligned with their objective utility (measured through their task performance).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google