Generalizing Medical Image Representations via Quaternion Wavelet Networks

要約

ニューラル ネットワークの一般化性は、さまざまなソースからのデータセットやさまざまなタスクの利用可能性が高まっているため、幅広い研究分野になりつつあります。
この問題は、医療データを処理する場合にはさらに広範囲に及び、方法論的標準の欠如により、異なる画像センターによって提供されたり、さまざまなデバイスや補因子で取得されたデータに大きなばらつきが生じます。
これらの制限を克服するために、医用画像から顕著な特徴を抽出できる、データやタスクに依存しない新しい一般化可能なフレームワークを導入します。
提案された四元数ウェーブレット ネットワーク (QUAVE) は、既存の医用画像解析または合成タスクと簡単に統合でき、実数モデル、四元数モデル、または超複素数値モデルと連携して、単一チャネル データへの採用を一般化できます。
QUAVE は、まず四元数ウェーブレット変換を通じてさまざまなサブバンドを抽出し、その結果、低周波数/近似バンドと高周波数/きめの細かい特徴の両方が得られます。
次に、画像処理用の他のニューラル モデルへの入力として関与するサブバンドの最も代表的なセットを重み付けし、標準データ サンプルを置き換えます。
私たちは、さまざまなデータセット、多様な画像解析、再構成、セグメンテーション、モダリティ変換などの合成タスクを含む広範な実験評価を実施します。
また、実数モデルと四元数値モデルの両方と組み合わせて QUAVE を評価します。
結果は、提案されたフレームワークの有効性と一般化可能性が実証されており、ネットワーク パフォーマンスを向上させながら、多様なシナリオに柔軟に採用でき、ドメインの移行にも堅牢です。
完全なコードは https://github.com/ispamm/QWT で入手できます。

要約(オリジナル)

Neural network generalizability is becoming a broad research field due to the increasing availability of datasets from different sources and for various tasks. This issue is even wider when processing medical data, where a lack of methodological standards causes large variations being provided by different imaging centers or acquired with various devices and cofactors. To overcome these limitations, we introduce a novel, generalizable, data- and task-agnostic framework able to extract salient features from medical images. The proposed quaternion wavelet network (QUAVE) can be easily integrated with any pre-existing medical image analysis or synthesis task, and it can be involved with real, quaternion, or hypercomplex-valued models, generalizing their adoption to single-channel data. QUAVE first extracts different sub-bands through the quaternion wavelet transform, resulting in both low-frequency/approximation bands and high-frequency/fine-grained features. Then, it weighs the most representative set of sub-bands to be involved as input to any other neural model for image processing, replacing standard data samples. We conduct an extensive experimental evaluation comprising different datasets, diverse image analysis, and synthesis tasks including reconstruction, segmentation, and modality translation. We also evaluate QUAVE in combination with both real and quaternion-valued models. Results demonstrate the effectiveness and the generalizability of the proposed framework that improves network performance while being flexible to be adopted in manifold scenarios and robust to domain shifts. The full code is available at: https://github.com/ispamm/QWT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google