T-FAKE: Synthesizing Thermal Images for Facial Landmarking

要約

顔画像解析は、セキュリティ、自律走行、エンターテインメント、ヘルスケアなどの幅広い用途において重要な要素である。様々な顔のRGBデータセットが利用可能であるにもかかわらず、生命科学、医療、生体認証において重要な役割を果たす熱モダリティは、ほとんど見過ごされてきた。このギャップを解決するために、我々は、疎なランドマークと密なランドマークを持つ新しい大規模合成熱データセットであるT-FAKEデータセットを紹介する。このデータセットの作成を容易にするために、我々は新しいRGB2Thermal損失関数を提案する。熱画像とRGBパッチ間のワッサーシュタイン距離と顔の臨床的温度分布の統計解析を利用することで、生成される熱画像が実際のサンプルに近いことを保証する。RGB2Thermal損失関数に基づくRGB2Thermalスタイル転送を用いて、顔の大規模合成熱画像データセットであるT-FAKEデータセットを作成する。我々の新しいT-FAKEデータセット、確率的ランドマーク予測、ラベル適応ネットワークを活用することで、様々なランドマーク規則における熱画像上のランドマーク検出手法の大幅な改善を実証する。我々のモデルは、疎な70点のランドマークと密な478点のランドマーク注釈の両方で優れた性能を示す。我々のコードとモデルはhttps://github.com/phflot/tfake。

要約(オリジナル)

Facial analysis is a key component in a wide range of applications such as security, autonomous driving, entertainment, and healthcare. Despite the availability of various facial RGB datasets, the thermal modality, which plays a crucial role in life sciences, medicine, and biometrics, has been largely overlooked. To address this gap, we introduce the T-FAKE dataset, a new large-scale synthetic thermal dataset with sparse and dense landmarks. To facilitate the creation of the dataset, we propose a novel RGB2Thermal loss function, which enables the transfer of thermal style to RGB faces. By utilizing the Wasserstein distance between thermal and RGB patches and the statistical analysis of clinical temperature distributions on faces, we ensure that the generated thermal images closely resemble real samples. Using RGB2Thermal style transfer based on our RGB2Thermal loss function, we create the T-FAKE dataset, a large-scale synthetic thermal dataset of faces. Leveraging our novel T-FAKE dataset, probabilistic landmark prediction, and label adaptation networks, we demonstrate significant improvements in landmark detection methods on thermal images across different landmark conventions. Our models show excellent performance with both sparse 70-point landmarks and dense 478-point landmark annotations. Our code and models are available at https://github.com/phflot/tfake.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL