Improving the Efficiency of Human-in-the-Loop Systems: Adding Artificial to Human Experts

要約

情報システムでは、人工知能 (AI) と機械学習 (ML) をますます活用して、膨大な量のデータから価値を生み出しています。
ただし、ML モデルは不完全であり、誤った分類が生成される可能性があります。
したがって、ML モデルに対するヒューマンインザループ (HITL) 拡張により、分類が難しいインスタンスに対して人間によるレビューが追加されます。
この研究では、難しいモデル分類の処理を人間の専門家に継続的に依存すると、人間の労力が大幅に増加し、限られたリソースに負担がかかることになると主張しています。
この問題に対処するために、人間の専門家によって以前にレビューされた未知のクラスからデータ インスタンスを分類する方法を学習する人工専門家を作成するハイブリッド システムを提案します。
私たちのハイブリッド システムは、インスタンスを未知のクラスから分類するのにどの人工エキスパートが適しているかを評価し、自動的に割り当てます。
時間が経つにつれて、人間の労力が軽減され、システムの効率が向上します。
私たちの実験は、画像分類に関するいくつかのベンチマークにおいて、私たちのアプローチが従来の HITL システムよりも優れていることを示しています。

要約(オリジナル)

Information systems increasingly leverage artificial intelligence (AI) and machine learning (ML) to generate value from vast amounts of data. However, ML models are imperfect and can generate incorrect classifications. Hence, human-in-the-loop (HITL) extensions to ML models add a human review for instances that are difficult to classify. This study argues that continuously relying on human experts to handle difficult model classifications leads to a strong increase in human effort, which strains limited resources. To address this issue, we propose a hybrid system that creates artificial experts that learn to classify data instances from unknown classes previously reviewed by human experts. Our hybrid system assesses which artificial expert is suitable for classifying an instance from an unknown class and automatically assigns it. Over time, this reduces human effort and increases the efficiency of the system. Our experiments demonstrate that our approach outperforms traditional HITL systems for several benchmarks on image classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google