Anatomical Positional Embeddings

要約

我々は、個々の医用画像ボクセルの 3D 解剖学的位置埋め込み (APE) を生成する自己教師ありモデルを提案します。
APE はボクセルの解剖学的近さをエンコードします。つまり、同じ臓器または近くの臓器のボクセルは常に、より離れた身体部分のボクセルよりも位置的に近い埋め込みを持ちます。
解剖学的位置埋め込みの既存のモデルとは対照的に、私たちの方法は、体積入力画像全体のボクセルごとの埋め込みのマップを効率的に生成できるため、さまざまな下流アプリケーションにとって最適な選択肢になります。
私たちは、公開されている腹部および胸部領域の 8,400 枚の CT 画像に基づいて APE モデルをトレーニングします。
我々は、解剖学的ランドマークの検索と13の腹部臓器の弱教師下での数ショット位置特定において、既存のモデルと比較して優れたパフォーマンスを実証します。
実際の応用例として、画像ボリュームを 10 ～ 100 分の 1 に削減しながら、生の CT 画像を再現率 0.99 でさまざまな解剖学的関心領域にトリミングするように APE を低コストでトレーニングする方法を示します。
コードと事前トレーニングされた APE モデルは https://github.com/mishgon/ape で入手できます。

要約(オリジナル)

We propose a self-supervised model producing 3D anatomical positional embeddings (APE) of individual medical image voxels. APE encodes voxels’ anatomical closeness, i.e., voxels of the same organ or nearby organs always have closer positional embeddings than the voxels of more distant body parts. In contrast to the existing models of anatomical positional embeddings, our method is able to efficiently produce a map of voxel-wise embeddings for a whole volumetric input image, which makes it an optimal choice for different downstream applications. We train our APE model on 8400 publicly available CT images of abdomen and chest regions. We demonstrate its superior performance compared with the existing models on anatomical landmark retrieval and weakly-supervised few-shot localization of 13 abdominal organs. As a practical application, we show how to cheaply train APE to crop raw CT images to different anatomical regions of interest with 0.99 recall, while reducing the image volume by 10-100 times. The code and the pre-trained APE model are available at https://github.com/mishgon/ape .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google