Geometric Learning-Based Transformer Network for Estimation of Segmentation Errors

要約

リスクのある腫瘍や臓器の 3D 体積セグメンテーションのために、多くのセグメンテーション ネットワークが提案されています。
病院や臨床機関は、画像セグメンテーションにおける専門家の努力を加速し、最小限に抑えることを目指しています。
それでも、これらのネットワークによってエラーが発生した場合、臨床医は生成されたセグメンテーション マップを手動で編集する必要があります。
3D ボリュームとその推定セグメンテーション マップが与えられた場合、セグメンテーション マップ内の誤った領域を特定して測定するアプローチを提案します。
私たちの方法は、誤った可能性のある体積セグメンテーション マップから生成された 3D メッシュ内の任意の点またはノードでの誤差を推定でき、品質保証ツールとして機能します。
任意の時点でのセグメンテーション エラーを測定および分類するための、Nodeformer アーキテクチャに基づくグラフ ニューラル ネットワーク ベースのトランスフォーマーを提案します。
私たちは、誤った 3D セグメンテーション マップをシミュレートすることにより、人間の内耳の骨迷路構造の高解像度マイクロ CT データセットでネットワークを評価しました。
私たちのネットワークには、入力マイクロ CT データからノード中心の特徴を計算する畳み込みエンコーダー、潜在グラフの埋め込みを学習するノードフォーマー、およびノー​​ドごとのエラーを計算して分類する多層パーセプトロン (MLP) が組み込まれています。
私たちのネットワークは、ノードごとの誤差の推定と分類において、他のグラフ ニューラル ネットワーク (GNN) よりも平均絶対誤差が約 0.042 であり、他の GNN よりも 79.53% の精度を達成しています。
また、ネットワーク全体のパフォーマンスを向上させるために CNN エンコーダーを事前トレーニングするためのカスタム プリテキスト タスクとして、頂点法線予測を提案しました。
定性分析により、エラーを正しく分類し、誤分類を削減する際のネットワークの効率がわかります。

要約(オリジナル)

Many segmentation networks have been proposed for 3D volumetric segmentation of tumors and organs at risk. Hospitals and clinical institutions seek to accelerate and minimize the efforts of specialists in image segmentation. Still, in case of errors generated by these networks, clinicians would have to manually edit the generated segmentation maps. Given a 3D volume and its putative segmentation map, we propose an approach to identify and measure erroneous regions in the segmentation map. Our method can estimate error at any point or node in a 3D mesh generated from a possibly erroneous volumetric segmentation map, serving as a Quality Assurance tool. We propose a graph neural network-based transformer based on the Nodeformer architecture to measure and classify the segmentation errors at any point. We have evaluated our network on a high-resolution micro-CT dataset of the human inner-ear bony labyrinth structure by simulating erroneous 3D segmentation maps. Our network incorporates a convolutional encoder to compute node-centric features from the input micro-CT data, the Nodeformer to learn the latent graph embeddings, and a Multi-Layer Perceptron (MLP) to compute and classify the node-wise errors. Our network achieves a mean absolute error of ~0.042 over other Graph Neural Networks (GNN) and an accuracy of 79.53% over other GNNs in estimating and classifying the node-wise errors, respectively. We also put forth vertex-normal prediction as a custom pretext task for pre-training the CNN encoder to improve the network’s overall performance. Qualitative analysis shows the efficiency of our network in correctly classifying errors and reducing misclassifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google