FaceTouch: Detecting hand-to-face touch with supervised contrastive learning to assist in tracing infectious disease

要約

私たちの呼吸器系を通じて、多くのウイルスや病気が頻繁に広がり、人から人へと移ります。
新型コロナウイルス感染症（Covid-19）は、感染拡大を阻止するために接触者を追跡し削減することがいかに重要かを示す一例となった。
複雑な都市部や屋内での手と顔の接触を検出できる自動方法を見つけるには、明らかなギャップがあります。
この論文では、深層学習に基づいた FaceTouch と呼ばれるコンピューター ビジョン フレームワークを紹介します。
人間を検出し、その行動を分析するための深いサブモデルで構成されています。
FaceTouch は、ビデオ チャット、バスの映像、CCTV フィードなどを介して、自然界での手と顔の接触を検出しようとします。
顔の部分的な遮蔽にもかかわらず、導入されたシステムは、腕の動きなどの体のジェスチャーの表現を利用することにより、特定のシーンの RGB 表現から顔のタッチを検出することを学習します。
これは、手の動きと顔への近さを単に識別するだけでなく、複雑な都市シナリオでも役立つことが実証されています。
教師あり対照学習に依存して、他のベンチマーク データセットがないことを考慮して、導入されたモデルは収集されたデータセットでトレーニングされます。
このフレームワークは、未確認のデータセットで強力な検証を示し、潜在的な展開への扉を開きます。

要約(オリジナル)

Through our respiratory system, many viruses and diseases frequently spread and pass from one person to another. Covid-19 served as an example of how crucial it is to track down and cut back on contacts to stop its spread. There is a clear gap in finding automatic methods that can detect hand-to-face contact in complex urban scenes or indoors. In this paper, we introduce a computer vision framework, called FaceTouch, based on deep learning. It comprises deep sub-models to detect humans and analyse their actions. FaceTouch seeks to detect hand-to-face touches in the wild, such as through video chats, bus footage, or CCTV feeds. Despite partial occlusion of faces, the introduced system learns to detect face touches from the RGB representation of a given scene by utilising the representation of the body gestures such as arm movement. This has been demonstrated to be useful in complex urban scenarios beyond simply identifying hand movement and its closeness to faces. Relying on Supervised Contrastive Learning, the introduced model is trained on our collected dataset, given the absence of other benchmark datasets. The framework shows a strong validation in unseen datasets which opens the door for potential deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google