Voxel Scene Graph for Intracranial Hemorrhage

要約

頭蓋内出血（ICH）の患者は、生命を脅かす可能性のある状態に直面しており、臨床的合併症の可能性があるため、患者中心の個別治療は依然として困難です。
深層学習ベースの手法により、定期的に取得された頭部 CT を効率的に分析して、臨床上の意思決定をサポートできます。
初期の研究の大部分は、ICH の検出とセグメント化に焦点を当てていますが、ICH と隣接する脳構造の間の複雑な関係をモデル化していません。
この研究では、ICH に合わせた物体検出方法を設計し、これをセグメンテーションに基づいたシーングラフ生成 (SGG) 方法と組み合わせて、臨床脳シーンの全体的な表現を学習します。
私たちの知る限り、これは 3D ボクセル画像に対する SGG の最初のアプリケーションです。
2 つの頭部 CT データセットでこの方法を評価し、このモデルが臨床的に関連する関係を最大 74% 再現できることを示します。
この作業は、3D ボクセル データの SGG に向けた基礎を築きます。
生成されたシーン グラフはすでに臨床医に洞察を提供できますが、コンパクトで解釈可能な表現としてすべての下流タスクにとっても価値があります。

要約(オリジナル)

Patients with Intracranial Hemorrhage (ICH) face a potentially life-threatening condition, and patient-centered individualized treatment remains challenging due to possible clinical complications. Deep-Learning-based methods can efficiently analyze the routinely acquired head CTs to support the clinical decision-making. The majority of early work focuses on the detection and segmentation of ICH, but do not model the complex relations between ICH and adjacent brain structures. In this work, we design a tailored object detection method for ICH, which we unite with segmentation-grounded Scene Graph Generation (SGG) methods to learn a holistic representation of the clinical cerebral scene. To the best of our knowledge, this is the first application of SGG for 3D voxel images. We evaluate our method on two head-CT datasets and demonstrate that our model can recall up to 74% of clinically relevant relations. This work lays the foundation towards SGG for 3D voxel data. The generated Scene Graphs can already provide insights for the clinician, but are also valuable for all downstream tasks as a compact and interpretable representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google