T-FAKE: Synthesizing Thermal Images for Facial Landmarking

要約

顔分析は、セキュリティ、自動運転、エンターテイメント、ヘルスケアなどの幅広いアプリケーションにおける重要なコンポーネントです。
さまざまな顔の RGB データセットが利用できるにもかかわらず、生命科学、医学、生体認証において重要な役割を果たす熱モダリティはほとんど見落とされてきました。
このギャップに対処するために、疎なランドマークと密なランドマークを備えた新しい大規模合成熱データセットである T-FAKE データセットを導入します。
データセットの作成を容易にするために、RGB 面への熱スタイルの転送を可能にする新しい RGB2Thermal 損失関数を提案します。
熱パッチと RGB パッチ間のワッサーシュタイン距離と、顔の臨床温度分布の統計分析を利用することで、生成された熱画像が実際のサンプルによく似ていることが保証されます。
RGB2Thermal 損失関数に基づく RGB2Thermal スタイル転送を使用して、顔の大規模な合成熱データセットである T-FAKE データセットを作成します。
新しい T-FAKE データセット、確率的ランドマーク予測、およびラベル適応ネットワークを活用して、さまざまなランドマーク規則にわたる熱画像上のランドマーク検出方法の大幅な改善を実証します。
私たちのモデルは、まばらな 70 ポイントのランドマークと密な 478 ポイントのランドマークの注釈の両方で優れたパフォーマンスを示します。
コードとモデルは https://github.com/phflot/tfake で入手できます。

要約(オリジナル)

Facial analysis is a key component in a wide range of applications such as security, autonomous driving, entertainment, and healthcare. Despite the availability of various facial RGB datasets, the thermal modality, which plays a crucial role in life sciences, medicine, and biometrics, has been largely overlooked. To address this gap, we introduce the T-FAKE dataset, a new large-scale synthetic thermal dataset with sparse and dense landmarks. To facilitate the creation of the dataset, we propose a novel RGB2Thermal loss function, which enables the transfer of thermal style to RGB faces. By utilizing the Wasserstein distance between thermal and RGB patches and the statistical analysis of clinical temperature distributions on faces, we ensure that the generated thermal images closely resemble real samples. Using RGB2Thermal style transfer based on our RGB2Thermal loss function, we create the T-FAKE dataset, a large-scale synthetic thermal dataset of faces. Leveraging our novel T-FAKE dataset, probabilistic landmark prediction, and label adaptation networks, we demonstrate significant improvements in landmark detection methods on thermal images across different landmark conventions. Our models show excellent performance with both sparse 70-point landmarks and dense 478-point landmark annotations. Our code and models are available at https://github.com/phflot/tfake.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google