vMFNet: Compositionality Meets Domain-generalised Segmentation

要約

医療画像セグメンテーションモデルのトレーニングには、通常、大量のラベル付きデータが必要です。
対照的に、人間は、限られたガイダンスで、医療（MRIやCTなど）画像から関心のある解剖学的構造を正確に認識することをすばやく学ぶことができます。
このような認識能力は、さまざまな臨床センターからの新しい画像に簡単に一般化できます。
この迅速で一般化可能な学習能力は、主に人間の脳の画像パターンの構成構造によるものであり、医療画像のセグメンテーションにはあまり組み込まれていません。
この論文では、人体の構成要素（パターン）を学習可能なフォンミーゼスフィッシャー（vMF）カーネルとしてモデル化します。これは、さまざまなドメイン（臨床センターなど）から収集された画像に対して堅牢です。
画像の特徴は、構成操作、つまりvMF尤度を使用してコンポーネントに分解（または構成）できます。
vMF尤度は、各解剖学的部分が画像の各位置にある可能性を示します。
したがって、セグメンテーションマスクはvMF尤度に基づいて予測できます。
さらに、再構成モジュールを使用すると、ラベルなしデータを使用して、vMFカーネルと尤度を再結合して入力画像を再構成することにより、それらを学習することもできます。
広範な実験により、提案されたvMFNetは、特に注釈が制限されている場合に、2つのベンチマークで改善された一般化パフォーマンスを達成することが示されています。
コードはhttps://github.com/vios-s/vMFNetで公開されています。

要約(オリジナル)

Training medical image segmentation models usually requires a large amount of labeled data. By contrast, humans can quickly learn to accurately recognise anatomy of interest from medical (e.g. MRI and CT) images with some limited guidance. Such recognition ability can easily generalise to new images from different clinical centres. This rapid and generalisable learning ability is mostly due to the compositional structure of image patterns in the human brain, which is less incorporated in medical image segmentation. In this paper, we model the compositional components (i.e. patterns) of human anatomy as learnable von-Mises-Fisher (vMF) kernels, which are robust to images collected from different domains (e.g. clinical centres). The image features can be decomposed to (or composed by) the components with the composing operations, i.e. the vMF likelihoods. The vMF likelihoods tell how likely each anatomical part is at each position of the image. Hence, the segmentation mask can be predicted based on the vMF likelihoods. Moreover, with a reconstruction module, unlabeled data can also be used to learn the vMF kernels and likelihoods by recombining them to reconstruct the input image. Extensive experiments show that the proposed vMFNet achieves improved generalisation performance on two benchmarks, especially when annotations are limited. Code is publicly available at: https://github.com/vios-s/vMFNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google