Diagnosing Human-object Interaction Detectors

要約

私たちは、mAP (平均平均精度) がますます高くなり、人間とオブジェクトの相互作用 (HOI) 検出における大きな進歩を目撃してきましたが、単一の mAP スコアではモデルのパフォーマンスに関する有益な概要を取得したり、あるアプローチがより優れている理由を理解したりするには簡潔すぎます。
別の。
本稿では、既存の HOI 検出モデルのエラー原因を分析するための診断ツールボックスを紹介します。
まず、HOI 検出のパイプラインで総合的な調査を実行します。これは、人間とオブジェクトのペアの検出、次にインタラクションの分類から構成されます。
一連のエラーと、それぞれを修正するためのオラクルを定義します。
オラクルを使用してエラーを修正することで得られる mAP の改善を測定することで、さまざまなエラーの重要性を詳細に分析できます。
次に、人間とオブジェクトの検出とインタラクション分類をそれぞれ詳しく調べて、モデルの動作を確認します。
最初の検出タスクでは、再現率と精度の両方を調査し、グラウンドトゥルースの人間とオブジェクトのペアの範囲と検出のノイズ レベルを測定します。
2 番目の分類タスクでは、検出スコアを考慮せずに、相互作用分類のみの mAP を計算します。
また、AP (平均精度) スコアを使用して、実際のインタラクションの有無にかかわらず、人間とオブジェクトのペアを区別するモデルのパフォーマンスも測定します。
私たちのツールボックスは、さまざまなデータセットにわたるさまざまな方法に適用でき、https://github.com/neu-vi/Diag-HOI で入手できます。

要約(オリジナル)

Although we have witnessed significant progress in human-object interaction (HOI) detection with increasingly high mAP (mean Average Precision), a single mAP score is too concise to obtain an informative summary of a model’s performance and to understand why one approach is better than another. In this paper, we introduce a diagnosis toolbox for analyzing the error sources of the existing HOI detection models. We first conduct holistic investigations in the pipeline of HOI detection, consisting of human-object pair detection and then interaction classification. We define a set of errors and the oracles to fix each of them. By measuring the mAP improvement obtained from fixing an error using its oracle, we can have a detailed analysis of the significance of different errors. We then delve into the human-object detection and interaction classification, respectively, and check the model’s behavior. For the first detection task, we investigate both recall and precision, measuring the coverage of ground-truth human-object pairs as well as the noisiness level in the detections. For the second classification task, we compute mAP for interaction classification only, without considering the detection scores. We also measure the performance of the models in differentiating human-object pairs with and without actual interactions using the AP (Average Precision) score. Our toolbox is applicable for different methods across different datasets and available at https://github.com/neu-vi/Diag-HOI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google