Improving Hand Recognition in Uncontrolled and Uncooperative Environments using Multiple Spatial Transformers and Loss Functions

要約

スマートフォンや家庭用カメラの普及により、デジタル画像の形で証拠が増えるようになりましたが、そのほとんどは管理されていない非協力的な環境で撮影されたものです。
これらの画像では、犯罪者が顔を隠したり覆ったりしている可能性が高く、場合によっては手は観察できるため、法医学捜査にとって困難なユースケースが生じています。
既存の手ベースの認識方法の多くは、ユーザーの協力を得て制御された環境で収集された手の画像に対して良好に機能します。
ただし、制御されていない非協力的な環境では、パフォーマンスが大幅に低下します。
最近の研究により、これらの環境における手の認識の可能性が明らかになりました。
しかし、手のひら領域のみが考慮されており、認識性能はまだ満足のいくものとは言えません。
認識精度を向上させるために、マルチ空間変換ネットワーク (MSTN) と複数の損失関数を統合したアルゴリズムを提案し、フルハンド画像の情報を最大限に活用します。
最初に MSTN を使用して手のひらと指の位置を特定し、位置合わせパラメータを推定します。
次に、位置合わせされた画像が事前学習済みの畳み込みニューラル ネットワークにさらに供給され、そこで特徴が抽出されます。
最後に、複数の損失関数を備えたトレーニング スキームを使用して、ネットワークをエンドツーエンドでトレーニングします。
提案されたアルゴリズムの有効性を実証するために、トレーニング済みモデルが NTU-PI-v1 データベースとさまざまなドメインの 6 つのベンチマーク データベースで評価されます。
実験結果は、提案されたアルゴリズムが、これらの制御されていない非協力的な環境において既存の方法よりも大幅に優れたパフォーマンスを示し、異なるドメインのサンプルに対する優れた一般化機能を備えていることを示しています。

要約(オリジナル)

The prevalence of smartphone and consumer camera has led to more evidence in the form of digital images, which are mostly taken in uncontrolled and uncooperative environments. In these images, criminals likely hide or cover their faces while their hands are observable in some cases, creating a challenging use case for forensic investigation. Many existing hand-based recognition methods perform well for hand images collected in controlled environments with user cooperation. However, their performance deteriorates significantly in uncontrolled and uncooperative environments. A recent work has exposed the potential of hand recognition in these environments. However, only the palmar regions were considered, and the recognition performance is still far from satisfactory. To improve the recognition accuracy, an algorithm integrating a multi-spatial transformer network (MSTN) and multiple loss functions is proposed to fully utilize information in full hand images. MSTN is firstly employed to localize the palms and fingers and estimate the alignment parameters. Then, the aligned images are further fed into pretrained convolutional neural networks, where features are extracted. Finally, a training scheme with multiple loss functions is used to train the network end-to-end. To demonstrate the effectiveness of the proposed algorithm, the trained model is evaluated on NTU-PI-v1 database and six benchmark databases from different domains. Experimental results show that the proposed algorithm performs significantly better than the existing methods in these uncontrolled and uncooperative environments and has good generalization capabilities to samples from different domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google