Metamorphic Testing for Pose Estimation Systems

要約

ポーズ推定システムは、スポーツ分析から家畜ケアまで、さまざまな分野で使用されています。
潜在的な影響を考えると、行動と失敗の可能性を体系的にテストすることが最も重要です。
これは、Oracleの問題と、グラウンドトゥルースキーポイントを構築するために必要なマニュアルラベルの高いコストによる複雑なタスクです。
この問題は、さまざまなアプリケーションが、システムが異なる被験者（たとえば、人間対動物）またはランドマーク（例えば、四肢と全身と顔のみ）に焦点を合わせるためにシステムを必要とするという事実によって悪化しているため、ラベル付けされたテストデータがめったに再利用できません。
これらの問題に対処するために、Met-Poseは、さまざまな状況下でこれらのシステムのパフォーマンスを評価しながら、手動注釈の必要性をバイパスするポーズ推定システムの変成テストフレームワークであると提案します。
したがって、Met-Poseは、ポーズ推定システムのユーザーが、アドホックテストデータセットにラベルを付けることなく、またはアプリケーションドメインに適合しない可能性のある利用可能なデータセットのみに依存することなく、アプリケーションにより密接に関連する条件でシステムを評価できるようになります。
Met-Poseを一般的な用語で定義しますが、コンピュータービジョンアプリケーションの共通の課題を表す変態ルールの非網羅的なリストと、これらのルールを評価する特定の方法も提示します。
次に、FLICとPhoenixのデータセットを使用して、最先端の人間のポーズ推定システムであるMediapipe Holisticに適用することにより、Met-Poseの有効性を実験的に示します。
これらの実験により、Met-Poseの出力が、ハンドラベルのデータを使用してクラシックテストと同様または高いレートでポーズ推定システムの障害を明らかにし、ユーザーが使用するルールセットを調整できることを示す多くの方法を概説します。
アプリケーションに関連する障害と精度のレベル。

要約(オリジナル)

Pose estimation systems are used in a variety of fields, from sports analytics to livestock care. Given their potential impact, it is paramount to systematically test their behaviour and potential for failure. This is a complex task due to the oracle problem and the high cost of manual labelling necessary to build ground truth keypoints. This problem is exacerbated by the fact that different applications require systems to focus on different subjects (e.g., human versus animal) or landmarks (e.g., only extremities versus whole body and face), which makes labelled test data rarely reusable. To combat these problems we propose MET-POSE, a metamorphic testing framework for pose estimation systems that bypasses the need for manual annotation while assessing the performance of these systems under different circumstances. MET-POSE thus allows users of pose estimation systems to assess the systems in conditions that more closely relate to their application without having to label an ad-hoc test dataset or rely only on available datasets, which may not be adapted to their application domain. While we define MET-POSE in general terms, we also present a non-exhaustive list of metamorphic rules that represent common challenges in computer vision applications, as well as a specific way to evaluate these rules. We then experimentally show the effectiveness of MET-POSE by applying it to Mediapipe Holistic, a state of the art human pose estimation system, with the FLIC and PHOENIX datasets. With these experiments, we outline numerous ways in which the outputs of MET-POSE can uncover faults in pose estimation systems at a similar or higher rate than classic testing using hand labelled data, and show that users can tailor the rule set they use to the faults and level of accuracy relevant to their application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google