PnPNet: Pull-and-Push Networks for Volumetric Segmentation with Boundary Confusion

要約

体積画像の正確な境界セグメンテーションは、画像誘導診断やコンピュータ支援介入、特に臨床現場での境界混乱にとって重要なタスクです。
ただし、U 字型ネットワークでは、境界形状の制約がないため、この課題を効果的に解決できません。
さらに、境界を調整する既存の方法では細長い構造が強調されすぎるため、小さなオブジェクトをモデル化するネットワークの能力が限られているため、オーバーフィッティング現象が発生します。
この論文では、隣接領域との相互作用ダイナミクスを包含することにより、境界生成のメカニズムを再概念化します。
さらに、混乱した境界領域の形状特性をモデル化するために、PnPNet と呼ばれる統合ネットワークを提案します。
PnPNet のコア要素には、プッシュ ブランチとプル ブランチが含まれています。
具体的には、拡散理論に基づいて、プッシュブランチから境界領域を圧縮する意味差分モジュール (SDM) を考案します。
SDM 内の明示的および暗黙的な差分情報は、クラス間の境界の表現能力を大幅に向上させます。
さらに、K 平均法アルゴリズムによって動機づけられ、プル ブランチからのクラス クラスタリング モジュール (CCM) が導入され、交差する境界領域が拡張されます。
したがって、ブランチを押したり引いたりすると、それぞれ境界の不確実性が縮小および拡大します。
これらは、モデルがより正確な境界線を出力することを促進する 2 つの敵対的な力を提供します。
私たちは、モデル予測における 3 種類の境界混乱を含む、3 つの困難な公開データセットと 1 つの社内データセットで実験を実行しました。
実験結果は、特に HD と ASSD の評価指標において、他のセグメンテーション ネットワークに対する PnPNet の優位性を示しています。
さらに、ブランチを押したり引いたりすることは、クラシックな U 字型のベースライン モデルを強化するためのプラグ アンド プレイ モジュールとして機能します。
コードが利用可能です。

要約(オリジナル)

Precise boundary segmentation of volumetric images is a critical task for image-guided diagnosis and computer-assisted intervention, especially for boundary confusion in clinical practice. However, U-shape networks cannot effectively resolve this challenge due to the lack of boundary shape constraints. Besides, existing methods of refining boundaries overemphasize the slender structure, which results in the overfitting phenomenon due to networks’ limited abilities to model tiny objects. In this paper, we reconceptualize the mechanism of boundary generation by encompassing the interaction dynamics with adjacent regions. Moreover, we propose a unified network termed PnPNet to model shape characteristics of the confused boundary region. Core ingredients of PnPNet contain the pushing and pulling branches. Specifically, based on diffusion theory, we devise the semantic difference module (SDM) from the pushing branch to squeeze the boundary region. Explicit and implicit differential information inside SDM significantly boost representation abilities for inter-class boundaries. Additionally, motivated by the K-means algorithm, the class clustering module (CCM) from the pulling branch is introduced to stretch the intersected boundary region. Thus, pushing and pulling branches will shrink and enlarge the boundary uncertainty respectively. They furnish two adversarial forces to promote models to output a more precise delineation of boundaries. We carry out experiments on three challenging public datasets and one in-house dataset, containing three types of boundary confusion in model predictions. Experimental results demonstrate the superiority of PnPNet over other segmentation networks, especially on evaluation metrics of HD and ASSD. Besides, pushing and pulling branches can serve as plug-and-play modules to enhance classic U-shape baseline models. Codes are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google