Biometric Authentication Based on Enhanced Remote Photoplethysmography Signal Morphology

要約

遠隔光電脈波計 (rPPG) は、顔のビデオから心臓信号を測定する非接触方法で、接触センサーから得られる接触型光電脈波計 (cPPG) に代わる便利な方法です。
最近の研究では、各個人が生体認証識別子として利用できる固有の cPPG 信号形態を持っていることが示されており、このことが私たちに、顔のビデオから抽出された rPPG 信号の形態を個人認証に利用するきっかけを与えました。
顔のビデオには顔の外観と rPPG が混在しているため、最初に顔のビデオを匿名化して、rPPG 情報を保持しながら顔の外観を削除します。これにより、顔のプライバシーが保護され、認証に rPPG のみが使用されることが保証されます。
匿名化されたビデオは rPPG モデルに入力され、認証用の rPPG 信号形態を取得します。
最初のトレーニング段階では、教師なし rPPG トレーニングが実行され、粗い rPPG 信号が取得されます。
第 2 トレーニング段階では、外部 cPPG データセットを組み込んで rPPG-cPPG ハイブリッド トレーニングを実行し、rPPG 生体認証を実現し、rPPG 信号形態を強化します。
私たちのアプローチでは、rPPG 認証モデルをトレーニングするために、被験者 ID を持つ匿名化された顔ビデオのみが必要です。
実験結果は、顔ビデオに隠されたrPPG信号形態を生体認証に使用できることを示しています。
コードは https://github.com/zhaodongsun/rppg_biometrics で入手できます。

要約(オリジナル)

Remote photoplethysmography (rPPG) is a non-contact method for measuring cardiac signals from facial videos, offering a convenient alternative to contact photoplethysmography (cPPG) obtained from contact sensors. Recent studies have shown that each individual possesses a unique cPPG signal morphology that can be utilized as a biometric identifier, which has inspired us to utilize the morphology of rPPG signals extracted from facial videos for person authentication. Since the facial appearance and rPPG are mixed in the facial videos, we first de-identify facial videos to remove facial appearance while preserving the rPPG information, which protects facial privacy and guarantees that only rPPG is used for authentication. The de-identified videos are fed into an rPPG model to get the rPPG signal morphology for authentication. In the first training stage, unsupervised rPPG training is performed to get coarse rPPG signals. In the second training stage, an rPPG-cPPG hybrid training is performed by incorporating external cPPG datasets to achieve rPPG biometric authentication and enhance rPPG signal morphology. Our approach needs only de-identified facial videos with subject IDs to train rPPG authentication models. The experimental results demonstrate that rPPG signal morphology hidden in facial videos can be used for biometric authentication. The code is available at https://github.com/zhaodongsun/rppg_biometrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google