Learning to Complement and to Defer to Multiple Users

要約

人間と AI の分類におけるコラボレーション (HAI-CC) の開発により、複雑な意思決定プロセスにより、ユーザーと AI の予測を統合することが困難になっています。
このプロセスには 3 つのオプションがあります。1) AI が自律的に分類する、2) 補完することを学習する (AI がユーザーと協力する)、3) 延期することを学習する (AI がユーザーに従う)。
これらのオプションは相互に接続されているという性質にもかかわらず、統合システムのコンポーネントとしてではなく、単独で研究されてきました。
このペーパーでは、Learning to Complement and to Defer to Multiple Users (LECODU) と呼ばれる新しい HAI-CC 方法論を使用して、この弱点に対処します。
LECODU は、戦略を補完する学習と戦略を延期する学習を組み合わせるだけでなく、意思決定プロセスに参加する最適なユーザー数の推定も組み込みます。
LECODU のトレーニングにより、分類の精度が最大化され、ユーザーの関与に伴うコラボレーション コストが最小限に抑えられます。
現実世界のデータセットと合成データセットにわたる包括的な評価により、最先端の HAI-CC 手法と比較して LECODU の優れたパフォーマンスが実証されています。
注目すべきことに、ラベルノイズの割合が高い信頼性の低いユーザーに依存している場合でも、LECODU は人間の意思決定者単独および AI 単独の両方よりも大幅な改善を示しています。

要約(オリジナル)

With the development of Human-AI Collaboration in Classification (HAI-CC), integrating users and AI predictions becomes challenging due to the complex decision-making process. This process has three options: 1) AI autonomously classifies, 2) learning to complement, where AI collaborates with users, and 3) learning to defer, where AI defers to users. Despite their interconnected nature, these options have been studied in isolation rather than as components of a unified system. In this paper, we address this weakness with the novel HAI-CC methodology, called Learning to Complement and to Defer to Multiple Users (LECODU). LECODU not only combines learning to complement and learning to defer strategies, but it also incorporates an estimation of the optimal number of users to engage in the decision process. The training of LECODU maximises classification accuracy and minimises collaboration costs associated with user involvement. Comprehensive evaluations across real-world and synthesized datasets demonstrate LECODU’s superior performance compared to state-of-the-art HAI-CC methods. Remarkably, even when relying on unreliable users with high rates of label noise, LECODU exhibits significant improvement over both human decision-makers alone and AI alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google