要約
人間とAIの協調的分類(HAI-CC)アプローチは、人間の専門知識とAIの能力の両方を活用することで、実世界の様々な重大なシナリオにおける意思決定を強化するハイブリッドインテリジェントシステムを開発することを目的としている。現在のHAI-CC手法は、主に人間の専門家に判断を委ねるL2D(learning-to-defer)と、AIと人間の専門家が協調して予測を行うL2C(learning-to-complement)に焦点を当てている。しかし、多様な専門家の知識の下でL2DとL2Cの両方を効果的に探索し、意思決定を改善することには、顕著な研究ギャップが残っている。本論文では、カバレッジに制約された学習による特定の専門家との延期と補完(Coverage-constrained Learning to Defer and Complement with Specific Experts: CL2DC)法を提案することにより、この研究ギャップに対処する。CL2DCは、入力データに応じて、AIによる予測のみ、あるいは特定の専門家に委ねる、あるいは補完することで、最終的な決定を行う。さらに、AIのみによる選択の目標確率に近似するように、協力コストを制御するためのカバレッジ制約付き最適化を提案する。このアプローチにより、指定された予算内でのシステム性能の効果的な評価が可能となる。また、CL2DCは、クリーンラベルの参照を持たない、複数のノイズラベル注釈を含む訓練セットのシナリオに対応するように設計されている。合成データセットと実世界データセットの両方を用いた包括的な評価により、CL2DCが最先端のHAI-CC手法と比較して優れた性能を達成していることが実証された。
要約(オリジナル)
Human-AI cooperative classification (HAI-CC) approaches aim to develop hybrid intelligent systems that enhance decision-making in various high-stakes real-world scenarios by leveraging both human expertise and AI capabilities. Current HAI-CC methods primarily focus on learning-to-defer (L2D), where decisions are deferred to human experts, and learning-to-complement (L2C), where AI and human experts make predictions cooperatively. However, a notable research gap remains in effectively exploring both L2D and L2C under diverse expert knowledge to improve decision-making, particularly when constrained by the cooperation cost required to achieve a target probability for AI-only selection (i.e., coverage). In this paper, we address this research gap by proposing the Coverage-constrained Learning to Defer and Complement with Specific Experts (CL2DC) method. CL2DC makes final decisions through either AI prediction alone or by deferring to or complementing a specific expert, depending on the input data. Furthermore, we propose a coverage-constrained optimisation to control the cooperation cost, ensuring it approximates a target probability for AI-only selection. This approach enables an effective assessment of system performance within a specified budget. Also, CL2DC is designed to address scenarios where training sets contain multiple noisy-label annotations without any clean-label references. Comprehensive evaluations on both synthetic and real-world datasets demonstrate that CL2DC achieves superior performance compared to state-of-the-art HAI-CC methods.
arxiv情報
著者 | Zheng Zhang,Cuong Nguyen,Kevin Wells,Thanh-Toan Do,David Rosewarne,Gustavo Carneiro |
発行日 | 2024-12-04 17:13:22+00:00 |
arxivサイト | arxiv_id(pdf) |