Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention

要約

生体認証は、単一モダリティでは不安定で限界があるため、マルチモダリティシステムが研究者の間で注目されています。しかし、異なるモダリティ間の独立性と相補性のある情報をどのように利用するかは、依然として重要かつ困難な問題である。本論文では、指紋と指静脈に基づくマルチモーダル生体情報融合認識アルゴリズム（Fingerprint Finger Veins-Channel Spatial Attention Fusion Module, FPV-CSAFM）を提案しています。具体的には、まず、指紋画像と指静脈画像の各対に対して、簡単で効果的な畳み込みニューラルネットワーク（CNN）を提案し、特徴を抽出する。次に、マルチモーダル特徴融合モジュール（Channel Spatial Attention Fusion Module, CSAFM）を構築し、指紋と指静脈の間の補完情報を完全に融合させる。既存の融合手法とは異なり、我々の融合手法は、チャネルと空間次元における異なるモダリティの重要性に応じて融合重みを動的に調整することができるため、異なるモダリティ間の情報をより適切に結合し、全体的な認識性能を向上させることが可能である。本手法の性能を評価するために、複数の公共データセットに対して一連の実験を行った。実験の結果，提案するFPV-CSAFMは指紋と指静脈に基づく3つのマルチモーダルデータセットにおいて，優れた認識性能を達成することが分かった．

要約(オリジナル)

Due to the instability and limitations of unimodal biometric systems, multimodal systems have attracted more and more attention from researchers. However, how to exploit the independent and complementary information between different modalities remains a key and challenging problem. In this paper, we propose a multimodal biometric fusion recognition algorithm based on fingerprints and finger veins (Fingerprint Finger Veins-Channel Spatial Attention Fusion Module, FPV-CSAFM). Specifically, for each pair of fingerprint and finger vein images, we first propose a simple and effective Convolutional Neural Network (CNN) to extract features. Then, we build a multimodal feature fusion module (Channel Spatial Attention Fusion Module, CSAFM) to fully fuse the complementary information between fingerprints and finger veins. Different from existing fusion strategies, our fusion method can dynamically adjust the fusion weights according to the importance of different modalities in channel and spatial dimensions, so as to better combine the information between different modalities and improve the overall recognition performance. To evaluate the performance of our method, we conduct a series of experiments on multiple public datasets. Experimental results show that the proposed FPV-CSAFM achieves excellent recognition performance on three multimodal datasets based on fingerprints and finger veins.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL