Deep Learning for Cancer Prognosis Prediction Using Portrait Photos by StyleGAN Embedding

要約

がん患者の生存予測は、最適な治療法選択と患者管理にとって重要です。
現在の患者の生存予測方法は通常、患者の臨床記録データまたは生物学的データおよび画像データから生存情報を抽出します。
実際には、経験豊富な臨床医は、患者の観察可能な身体的外観（主に顔の特徴）に基づいて患者の健康状態を事前評価できます。
ただし、そのような評価は非常に主観的なものです。
本研究では、深層学習を用いて従来の肖像写真に含まれる予後情報を客観的に捉え、生存予測を目的として利用することの有効性を初めて検証する。
事前トレーニングされた StyleGAN2 モデルは、がん患者の写真のカスタム データセットに基づいて微調整され、ジェネレーターに患者の写真に適した生成機能を与えます。
次に、StyleGAN2 を使用して、その非常に表現力豊かな潜在空間に写真を埋め込みます。
最先端の生存分析モデルを利用し、StyleGAN の潜在空間写真埋め込みに基づいたこのアプローチは、C インデックス 0.677 を達成しました。これは偶然よりも著しく高く、単純な 2D 顔画像に埋め込まれた予後値を証明しています。
さらに、StyleGAN の解釈可能な潜在空間のおかげで、服装や背景などの無関係な情報からのバイアスを排除し、重要な顔の特徴に依存する生存予測モデルを検証できます。
さらに、健康属性は回帰係数から取得され、患者ケアにとって重要な潜在的価値を持ちます。

要約(オリジナル)

Survival prediction for cancer patients is critical for optimal treatment selection and patient management. Current patient survival prediction methods typically extract survival information from patients’ clinical record data or biological and imaging data. In practice, experienced clinicians can have a preliminary assessment of patients’ health status based on patients’ observable physical appearances, which are mainly facial features. However, such assessment is highly subjective. In this work, the efficacy of objectively capturing and using prognostic information contained in conventional portrait photographs using deep learning for survival predication purposes is investigated for the first time. A pre-trained StyleGAN2 model is fine-tuned on a custom dataset of our cancer patients’ photos to empower its generator with generative ability suitable for patients’ photos. The StyleGAN2 is then used to embed the photographs to its highly expressive latent space. Utilizing the state-of-the-art survival analysis models and based on StyleGAN’s latent space photo embeddings, this approach achieved a C-index of 0.677, which is notably higher than chance and evidencing the prognostic value embedded in simple 2D facial images. In addition, thanks to StyleGAN’s interpretable latent space, our survival prediction model can be validated for relying on essential facial features, eliminating any biases from extraneous information like clothing or background. Moreover, a health attribute is obtained from regression coefficients, which has important potential value for patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google