CCFExp: Facial Image Synthesis with Cycle Cross-Fusion Diffusion Model for Facial Paralysis Individuals

要約

顔面神経麻痺は、顔面の筋肉の動きに影響を及ぼし、顔の表情が著しく損なわれる衰弱性疾患です。
現在、顔面神経麻痺の診断は依然として困難な作業であり、臨床医の主観的な判断や経験に大きく依存することが多く、評価プロセスにばらつきや不確実性が生じる可能性があります。
現実の状況における有望なアプリケーションの 1 つは、顔面麻痺の自動推定です。
しかし、顔面麻痺のデータセットが不足しているため、自動診断と治療介入のための堅牢な機械学習モデルの開発が制限されています。
この目的を達成するために、この研究は、このギャップに対処するために高品質の顔面麻痺データセットを合成し、より正確で効率的なアルゴリズムトレーニングを可能にすることを目的としています。
具体的には、拡散モデルに基づく新しいサイクル相互融合表現生成モデル (CCFExp) が提案されており、顔情報のさまざまな特徴を組み合わせ、顔の外観と顔領域の質感の視覚的な詳細を強化し、正確に表現する合成顔画像を作成します。
さまざまな程度と種類の顔面麻痺。
我々は、提案された手法を、一般的に使用されている顔面神経麻痺の公的臨床データセットに対して定性的および定量的に評価し、その有効性を実証しました。
実験結果は、提案された方法が最先端の方法を上回り、より現実的な顔画像を生成し、アイデンティティの一貫性を維持することを示しています。

要約(オリジナル)

Facial paralysis is a debilitating condition that affects the movement of facial muscles, leading to a significant loss of facial expressions. Currently, the diagnosis of facial paralysis remains a challenging task, often relying heavily on the subjective judgment and experience of clinicians, which can introduce variability and uncertainty in the assessment process. One promising application in real-life situations is the automatic estimation of facial paralysis. However, the scarcity of facial paralysis datasets limits the development of robust machine learning models for automated diagnosis and therapeutic interventions. To this end, this study aims to synthesize a high-quality facial paralysis dataset to address this gap, enabling more accurate and efficient algorithm training. Specifically, a novel Cycle Cross-Fusion Expression Generative Model (CCFExp) based on the diffusion model is proposed to combine different features of facial information and enhance the visual details of facial appearance and texture in facial regions, thus creating synthetic facial images that accurately represent various degrees and types of facial paralysis. We have qualitatively and quantitatively evaluated the proposed method on the commonly used public clinical datasets of facial paralysis to demonstrate its effectiveness. Experimental results indicate that the proposed method surpasses state-of-the-art methods, generating more realistic facial images and maintaining identity consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google