A Generative Approach for Image Registration of Visible-Thermal (VT) Cancer Faces

要約

熱画像は痛みを調査するための独自の手法を提供するため、米国国立衛生研究所 (NIH) は、AI ベースの痛みの研究のために、がん患者の顔面サーモグラムの大規模かつ多様なセットを収集しました。
ただし、熱センサーと可視センサーの間でカメラのキャプチャ角度が異なるため、可視熱 (VT) 画像間の位置ずれが生じています。
私たちは、参照パラメータや位置合わせパラメータを必要とせずに、VT がんの面を位置合わせする生成位置合わせアルゴリズムを適用および修正することで、画像位置合わせという古典的なコンピュータ ビジョン タスクを最新化します。
VT 顔を登録することにより、可視画像から熱画像への変換 (V2T) 画像変換の生成 AI ダウンストリーム タスクで生成される熱画像の品質が、登録しない場合に比べて最大 52.5\% 大幅に向上することを実証します。
この論文の画像は、NIH NCI によって一般公開が承認されています。

要約(オリジナル)

Since thermal imagery offers a unique modality to investigate pain, the U.S. National Institutes of Health (NIH) has collected a large and diverse set of cancer patient facial thermograms for AI-based pain research. However, differing angles from camera capture between thermal and visible sensors has led to misalignment between Visible-Thermal (VT) images. We modernize the classic computer vision task of image registration by applying and modifying a generative alignment algorithm to register VT cancer faces, without the need for a reference or alignment parameters. By registering VT faces, we demonstrate that the quality of thermal images produced in the generative AI downstream task of Visible-to-Thermal (V2T) image translation significantly improves up to 52.5\%, than without registration. Images in this paper have been approved by the NIH NCI for public dissemination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google