Self-similarity-based super-resolution of photoacoustic angiography from hand-drawn doodles

要約

タイトル：手描きの書きこみからのフォトアコースティック血管造影の自己相似性に基づく超解像度

要約：

– フォトアコースティック血管造影（PAA）超解像度の深層学習ベースの手法は、疾患診断を容易にするために、アンダーサンプリングされた画像から血管形象を復元する強力なツールである。
– しかしながら、トレーニングサンプルの不足により、PAA超解像度モデルは、特に連続的な監視タスクの文脈で、十分な一般化能力を発揮しないことがある。
– この課題に対処するために、我々は、偽のPAAイメージを用いてトレーニングされた超解像度PAA手法を用いる新しいアプローチを提案する。
– 最初に、拡散ベースの画像生成モデルを使用して、手描き曲線から人間の唇の現実的なPAA画像を生成することで始める。
– 次に、これらの偽造PAAイメージで自己相似性に基づく超解像度モデルをトレーニングする。
– 実験結果は、我々の手法が、オリジナルドメインとクロスドメインのテストの両方で、本物のPAAイメージでトレーニングされた超解像度モデルを凌駕していることを示している。
– 特に、深層学習モデルによって作成された画像を使用して超解像度再構成の品質を向上させるという点で、我々のアプローチは、限られた初期データセットにもかかわらず、一般化を促進するために深層学習モデルの協力が有効であることを示している。
– このアプローチは、視覚タスクのゼロショット学習ニューラルネットワークを探索するための有望な可能性を示している。

要約(オリジナル)

Deep-learning-based super-resolution photoacoustic angiography (PAA) is a powerful tool that restores blood vessel images from under-sampled images to facilitate disease diagnosis. Nonetheless, due to the scarcity of training samples, PAA super-resolution models often exhibit inadequate generalization capabilities, particularly in the context of continuous monitoring tasks. To address this challenge, we propose a novel approach that employs a super-resolution PAA method trained with forged PAA images. We start by generating realistic PAA images of human lips from hand-drawn curves using a diffusion-based image generation model. Subsequently, we train a self-similarity-based super-resolution model with these forged PAA images. Experimental results show that our method outperforms the super-resolution model trained with authentic PAA images in both original-domain and cross-domain tests. Specially, our approach boosts the quality of super-resolution reconstruction using the images forged by the deep learning model, indicating that the collaboration between deep learning models can facilitate generalization, despite limited initial dataset. This approach shows promising potential for exploring zero-shot learning neural networks for vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI