Image To Tree with Recursive Prompting

要約

グリッドベースのデータから複雑な構造を抽出することは、自動化された医用画像分析の一般的な重要なステップです。
ツリー構造のジオメトリを復元するための従来のソリューションでは、通常、セグメンテーション マスクから派生した中間表現を介して最小コスト パスを計算します。
ただし、2D 投影では分岐が重複することが多いため、冠動脈などのツリー構造の 3D 解剖学的データの投影イメージングのコンテキストでは、この方法には大きな制限があります。
この作業では、再帰プロセスの個々のステップにわたる最適化問題としてタスクを再定式化する、ツリー接続構造を予測するための新しいアプローチを提案します。
UNet および Transformer アーキテクチャを活用し、画像ベースのプロンプト手法を導入する 2 段階のモデルを設計およびトレーニングします。
提案された方法は、合成データセットのペアで説得力のある結果を達成し、最短経路のベースラインよりも優れています。

要約(オリジナル)

Extracting complex structures from grid-based data is a common key step in automated medical image analysis. The conventional solution to recovering tree-structured geometries typically involves computing the minimal cost path through intermediate representations derived from segmentation masks. However, this methodology has significant limitations in the context of projective imaging of tree-structured 3D anatomical data such as coronary arteries, since there are often overlapping branches in the 2D projection. In this work, we propose a novel approach to predicting tree connectivity structure which reformulates the task as an optimization problem over individual steps of a recursive process. We design and train a two-stage model which leverages the UNet and Transformer architectures and introduces an image-based prompting technique. Our proposed method achieves compelling results on a pair of synthetic datasets, and outperforms a shortest-path baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google