Video Surveillance System Incorporating Expert Decision-making Process: A Case Study on Detecting Calving Signs in Cattle

要約

畜産分野でのユーザー調査を通じて、ビデオ監視システムに対する XAI フレームワークの有効性を検証します。
システムは、専門家の意思決定プロセスを組み込むことによって解釈可能にすることができます。
AI システムは、特に人間の意思決定に関連する分野で、現実世界のアプリケーションでますます一般的になりつつあり、その解釈可能性が必要です。
ただし、実際のアプリケーションでの機械学習ベースのシステムの解釈可能性を評価して対処するための標準的な方法はまだ比較的少ないです。
本研究では、専門家の意思決定プロセスと通知対象の豊富なドメイン知識を組み合わせることで、予測の背後にある推論を提示するビデオ監視 AI システムのフレームワークを調べます。
一般的なブラックボックス AI システムは最終的な確率値しか提示できませんが、提案されたフレームワークは専門家の決定に関連する情報を提示でき、意思決定により役立つことが期待されます。
私たちのケーススタディでは、提案されたフレームワークに基づいて牛の分娩の兆候を検出するためのシステムを設計し、畜産関係者によるユーザースタディ (N=6) を通じてシステムを評価しました。
ブラックボックス AI システムとの比較では、多くの参加者が提示された予測結果の理由に言及しており、参加者の 6 人中 5 人が提案されたシステムを今後使用したいシステムとして選択しました。
予測結果の理由を考慮したユーザーインターフェースを設計する必要があることが明らかになりました。

要約(オリジナル)

Through a user study in the field of livestock farming, we verify the effectiveness of an XAI framework for video surveillance systems. The systems can be made interpretable by incorporating experts’ decision-making processes. AI systems are becoming increasingly common in real-world applications, especially in fields related to human decision-making, and its interpretability is necessary. However, there are still relatively few standard methods for assessing and addressing the interpretability of machine learning-based systems in real-world applications. In this study, we examine the framework of a video surveillance AI system that presents the reasoning behind predictions by incorporating experts’ decision-making processes with rich domain knowledge of the notification target. While general black-box AI systems can only present final probability values, the proposed framework can present information relevant to experts’ decisions, which is expected to be more helpful for their decision-making. In our case study, we designed a system for detecting signs of calving in cattle based on the proposed framework and evaluated the system through a user study (N=6) with people involved in livestock farming. A comparison with the black-box AI system revealed that many participants referred to the presented reasons for the prediction results, and five out of six participants selected the proposed system as the system they would like to use in the future. It became clear that we need to design a user interface that considers the reasons for the prediction results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google