Uncertainty Aware Human-machine Collaboration in Camouflaged Object Detection

要約

環境内で隠されたオブジェクトを識別するタスクであるカモフラージュオブジェクト検出（COD）は、その幅広い実用的なアプリケーションのために急速に成長しています。
信頼できるCODシステムを開発するための重要なステップは、不確実性の推定と効果的な利用です。
この作業では、カモフラージュオブジェクトの存在を分類するためのヒューマンマシンコラボレーションフレームワークを提案し、コンピュータービジョン（CV）モデルと非侵襲的脳コンピューターインターフェイス（BCIS）の相補的な強さを活用します。
私たちのアプローチでは、CVモデルの予測の不確実性を推定するためのマルチビューバックボーンを導入し、トレーニング中にこの不確実性を利用して効率を改善し、より信頼性の高い意思決定のテスト中にRSVPベースのBCISを介して人間の評価の低いケースを排除します。
迷彩データセットのフレームワークを評価し、既存の方法と比較して、平均精度（BA）で平均4.56 \％、F1スコアで3.66 \％の平均改善で最先端の結果を達成しました。
最高のパフォーマンスの参加者の場合、改善はBAで7.6 \％、F1スコアで6.66 \％に達しました。
トレーニングプロセスの分析により、信頼測定と精度の間の強い相関関係が明らかになりましたが、アブレーション研究により、提案されたトレーニングポリシーの有効性とヒューマンマシンコラボレーション戦略が確認されました。
一般に、この作業は人間の認知負荷を削減し、システムの信頼性を向上させ、現実世界のCODアプリケーションとヒューマンコンピューターの相互作用の進歩の強力な基盤を提供します。
私たちのコードとデータは、https：//github.com/ziyuey/unc evanterty-aware-human-machine-collaboration-in-camouflage-object-識別で入手できます。

要約(オリジナル)

Camouflaged Object Detection (COD), the task of identifying objects concealed within their environments, has seen rapid growth due to its wide range of practical applications. A key step toward developing trustworthy COD systems is the estimation and effective utilization of uncertainty. In this work, we propose a human-machine collaboration framework for classifying the presence of camouflaged objects, leveraging the complementary strengths of computer vision (CV) models and noninvasive brain-computer interfaces (BCIs). Our approach introduces a multiview backbone to estimate uncertainty in CV model predictions, utilizes this uncertainty during training to improve efficiency, and defers low-confidence cases to human evaluation via RSVP-based BCIs during testing for more reliable decision-making. We evaluated the framework in the CAMO dataset, achieving state-of-the-art results with an average improvement of 4.56\% in balanced accuracy (BA) and 3.66\% in the F1 score compared to existing methods. For the best-performing participants, the improvements reached 7.6\% in BA and 6.66\% in the F1 score. Analysis of the training process revealed a strong correlation between our confidence measures and precision, while an ablation study confirmed the effectiveness of the proposed training policy and the human-machine collaboration strategy. In general, this work reduces human cognitive load, improves system reliability, and provides a strong foundation for advancements in real-world COD applications and human-computer interaction. Our code and data are available at: https://github.com/ziyuey/Uncertainty-aware-human-machine-collaboration-in-camouflaged-object-identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google