Robustness Evaluation in Hand Pose Estimation Models using Metamorphic Testing

要約

手の姿勢推定 (HPE) は、画像またはビデオ フレームから手の姿勢を予測して説明するタスクです。
HPE モデルが実験室または制御された環境でキャプチャされた手のポーズを推定すると、通常は良好なパフォーマンスが得られます。
ただし、実際の環境は複雑で、さまざまな不確実性が発生する可能性があり、HPE モデルのパフォーマンスが低下する可能性があります。
たとえば、手が隠れたり、露出率が不完全なために手の視認性が低下したり、手の動きが速いと手の輪郭がぼやけやすくなります。
この作業では、メタモルフィック テストを採用して HPE モデルの堅牢性を評価し、さまざまなアプリケーションに対する HPE モデルの選択に関する提案を提供します。
堅牢性評価は、MediaPipe ハンド、OpenPose、BodyHands、および NSRM ハンドという 4 つの最先端モデルで実施されました。
斜めモーション ブラーを導入すると、平均で 80\% 以上の手が BodyHands によって識別できず、少なくとも 50\% の手が MediaPipe の手によって識別できなかったことがわかりました。
非常に露出不足の手の % は、NSRM 手で正しく推定できませんでした。
同様に、4 つの手の関節のみにオクルージョンを適用すると、これらのモデルのパフォーマンスが大幅に低下します。
実験結果は、オクルージョン、照明の変動、およびモーション ブラーが既存の HPE モデルのパフォーマンスに対する主な障害であることを示しています。
これらの調査結果は、研究者が手のポーズ推定モデルとそのア​​プリケーションのパフォーマンスと堅牢性を向上させる道を開く可能性があります。

要約(オリジナル)

Hand pose estimation (HPE) is a task that predicts and describes the hand poses from images or video frames. When HPE models estimate hand poses captured in a laboratory or under controlled environments, they normally deliver good performance. However, the real-world environment is complex, and various uncertainties may happen, which could degrade the performance of HPE models. For example, the hands could be occluded, the visibility of hands could be reduced by imperfect exposure rate, and the contour of hands prone to be blurred during fast hand movements. In this work, we adopt metamorphic testing to evaluate the robustness of HPE models and provide suggestions on the choice of HPE models for different applications. The robustness evaluation was conducted on four state-of-the-art models, namely MediaPipe hands, OpenPose, BodyHands, and NSRM hand. We found that on average more than 80\% of the hands could not be identified by BodyHands, and at least 50\% of hands could not be identified by MediaPipe hands when diagonal motion blur is introduced, while an average of more than 50\% of strongly underexposed hands could not be correctly estimated by NSRM hand. Similarly, applying occlusions on only four hand joints will also largely degrade the performance of these models. The experimental results show that occlusions, illumination variations, and motion blur are the main obstacles to the performance of existing HPE models. These findings may pave the way for researchers to improve the performance and robustness of hand pose estimation models and their applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google