WhisperNetV2: SlowFast Siamese Network For Lip-Based Biometrics

要約

口唇ベースの生体認証 (LBBA) は、過去 10 年間に多くの研究者を魅了してきました。
唇は、生理的特性と行動的特性の両方として機能する可能性のある双子の生体認証であるため、生体認証の研究者にとって特に興味深いものです。
LBBA に関して多くの貴重な研究が行われましたが、クライアントの顔の表情や会話のテンポに潜在的に影響を与える可能性がある、LBBA のビデオ取得ステップ中のクライアントのさまざまな感情を考慮した研究はありませんでした。
私たちは、以前に提案した WhisperNet と呼ばれるネットワークを拡張した WhisperNetV2 と呼ばれる新しいネットワーク構造を提案しました。
私たちが提案するネットワークは、埋め込みネットワークとして 3 つの同一の SlowFast ネットワークを持つ三重項損失のある深いシャム構造を利用しています。
SlowFast ネットワークは、高速パスウェイが高フレーム レートと低チャネル容量で動き関連の特徴 (行動的な唇の動き) を抽出するため、私たちのタスクに最適な候補です。
低速経路は、低いフレーム レートと高いチャネル容量で視覚的特徴 (生理学的唇の外観) を抽出します。
オープンセット プロトコルを使用して、CREMA-D データセットを使用してネットワークをトレーニングし、テスト セットで 0.005 の等誤り率 (EER) を取得しました。
取得される EER がほとんどの同様の LBBA 手法よりも小さいことを考慮すると、私たちの手法は最先端の LBBA 手法であると考えることができます。

要約(オリジナル)

Lip-based biometric authentication (LBBA) has attracted many researchers during the last decade. The lip is specifically interesting for biometric researchers because it is a twin biometric with the potential to function both as a physiological and a behavioral trait. Although much valuable research was conducted on LBBA, none of them considered the different emotions of the client during the video acquisition step of LBBA, which can potentially affect the client’s facial expressions and speech tempo. We proposed a novel network structure called WhisperNetV2, which extends our previously proposed network called WhisperNet. Our proposed network leverages a deep Siamese structure with triplet loss having three identical SlowFast networks as embedding networks. The SlowFast network is an excellent candidate for our task since the fast pathway extracts motion-related features (behavioral lip movements) with a high frame rate and low channel capacity. The slow pathway extracts visual features (physiological lip appearance) with a low frame rate and high channel capacity. Using an open-set protocol, we trained our network using the CREMA-D dataset and acquired an Equal Error Rate (EER) of 0.005 on the test set. Considering that the acquired EER is less than most similar LBBA methods, our method can be considered as a state-of-the-art LBBA method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google