Generalizing Medical Image Representations via Quaternion Wavelet Networks

要約

ニューラルネットワークの汎化可能性は、様々なソースからの様々なタスクのデータセットが利用可能になりつつあるため、広範な研究分野になりつつある。この問題は、方法論的標準の欠如により、異なる画像診断センターから提供されたり、様々な装置や因子を用いて取得されたりして、大きなばらつきがある医療データを処理する場合に、さらに大きくなる。これらの制限を克服するために、我々は、医療画像から顕著な特徴を抽出することができる、データおよびタスクにとらわれない、一般化可能な新しいフレームワークを紹介する。提案する四元ウェーブレットネットワーク(QUAVE)は、既存の医用画像解析や合成タスクと容易に統合することができ、実数値、四元値、超複素数値モデルを扱うことができ、シングルチャンネルデータへの適用を一般化する。QUAVEはまず、クウォータニオンウェーブレット変換により異なるサブバンドを抽出し、低周波/近似バンドと高周波/細粒度の特徴の両方を得る。次に、標準的なデータサンプルの代わりに、画像処理用の他のニューラルモデルの入力として関与する、最も代表的なサブバンドのセットを計量する。さまざまなデータセット、多様な画像解析、再構成、セグメンテーション、モダリティ変換を含む合成タスクからなる広範な実験的評価を実施する。また、QUAVEを実数値モデルと四元数値モデルの両方と組み合わせて評価する。その結果、提案するフレームワークの有効性と汎用性が実証された。このフレームワークは、ネットワークの性能を向上させるとともに、多様なシナリオに柔軟に対応し、ドメインのシフトに頑健である。全コードはhttps://github.com/ispamm/QWT。

要約(オリジナル)

Neural network generalizability is becoming a broad research field due to the increasing availability of datasets from different sources and for various tasks. This issue is even wider when processing medical data, where a lack of methodological standards causes large variations being provided by different imaging centers or acquired with various devices and cofactors. To overcome these limitations, we introduce a novel, generalizable, data- and task-agnostic framework able to extract salient features from medical images. The proposed quaternion wavelet network (QUAVE) can be easily integrated with any pre-existing medical image analysis or synthesis task, and it can be involved with real, quaternion, or hypercomplex-valued models, generalizing their adoption to single-channel data. QUAVE first extracts different sub-bands through the quaternion wavelet transform, resulting in both low-frequency/approximation bands and high-frequency/fine-grained features. Then, it weighs the most representative set of sub-bands to be involved as input to any other neural model for image processing, replacing standard data samples. We conduct an extensive experimental evaluation comprising different datasets, diverse image analysis, and synthesis tasks including reconstruction, segmentation, and modality translation. We also evaluate QUAVE in combination with both real and quaternion-valued models. Results demonstrate the effectiveness and the generalizability of the proposed framework that improves network performance while being flexible to be adopted in manifold scenarios and robust to domain shifts. The full code is available at: https://github.com/ispamm/QWT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL