Joint Embedding of 2D and 3D Networks for Medical Image Anomaly Detection

要約

医用画像処理でグラウンド トゥルース データを取得することは、その分野の専門家による注釈付けに多くの時間を必要とするため、困難を伴います。
また、教師あり学習でトレーニングすると、ラベルに含まれるケースのみを検出します。
実際には、医用画像を調べながら、指定されたケース以外の可能性も開きたいと考えています。
その解決策として、正常な画像のみを用いて正常な特徴を学習することで異常を検出し、その位置を特定できる異常検出のニーズが出てきています。
医用画像データを使用して、異常検出タスク用の自己教師あり学習の 2D または 3D ネットワークを設計できます。
人体の 3 次元構造を学習する 3 次元ネットワークは、3 次元医用画像の異常検出で優れたパフォーマンスを示しますが、メモリの問題により、より深いレイヤーにスタックすることはできません。
2D ネットワークは特徴検出に有利ですが、3D コンテキスト情報が不足しています。
この論文では、ジョイント埋め込みによって 3D ネットワークの強度と 2D ネットワークの強度を組み合わせる方法を開発します。
また、ネットワークが効率的に学習できるようにするために、自己教師あり学習のプレタスクを提案します。
実験を通じて、提案された方法が SoTA 方法と比較して、分類タスクとセグメンテーション タスクの両方で優れたパフォーマンスを達成することを示します。

要約(オリジナル)

Obtaining ground truth data in medical imaging has difficulties due to the fact that it requires a lot of annotating time from the experts in the field. Also, when trained with supervised learning, it detects only the cases included in the labels. In real practice, we want to also open to other possibilities than the named cases while examining the medical images. As a solution, the need for anomaly detection that can detect and localize abnormalities by learning the normal characteristics using only normal images is emerging. With medical image data, we can design either 2D or 3D networks of self-supervised learning for anomaly detection task. Although 3D networks, which learns 3D structures of the human body, show good performance in 3D medical image anomaly detection, they cannot be stacked in deeper layers due to memory problems. While 2D networks have advantage in feature detection, they lack 3D context information. In this paper, we develop a method for combining the strength of the 3D network and the strength of the 2D network through joint embedding. We also propose the pretask of self-supervised learning to make it possible for the networks to learn efficiently. Through the experiments, we show that the proposed method achieves better performance in both classification and segmentation tasks compared to the SoTA method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google