Latent Graph Representations for Critical View of Safety Assessment

要約

腹腔鏡下胆嚢摘出術における安全性の重要な観点を評価するには、主要な解剖学的構造の正確な特定と位置特定、相互の幾何学的関係についての推論、およびそれらの露出の質の決定が必要です。
これまでの研究では、中間ステップとしてセマンティック セグメンテーションを組み込み、予測セグメンテーション マスクを使用して CVS を予測することで、このタスクにアプローチしていました。
これらの方法は効果的ではありますが、非常に高価なグラウンド トゥルース セグメンテーション アノテーションに依存しており、予測されたセグメンテーションが正しくない場合には失敗する傾向があり、一般化が制限されます。
この研究では、最初に解きほぐされた潜在シーン グラフを使用して手術画像を表現し、次にグラフ ニューラル ネットワークを使用してこの表現を処理する CVS 予測方法を提案します。
私たちのグラフ表現は、オブジェクトの位置、クラス情報、幾何学的関係などのセマンティック情報を明示的にエンコードして、解剖学に基づいた推論を改善するだけでなく、微分可能性を維持してセマンティック エラーに対する堅牢性を提供する視覚的特徴も向上させます。
最後に、アノテーションのコストに対処するために、境界ボックスのアノテーションのみを使用してメソッドをトレーニングし、きめの細かいオブジェクトの境界を学習するための補助画像再構成目標を組み込むことを提案します。
私たちの方法は、境界ボックス注釈を使用してトレーニングした場合にいくつかのベースライン方法を上回るパフォーマンスを発揮するだけでなく、セグメンテーション マスクを使用してトレーニングした場合にも効果的にスケーリングし、最先端のパフォーマンスを維持できることを示します。

要約(オリジナル)

Assessing the critical view of safety in laparoscopic cholecystectomy requires accurate identification and localization of key anatomical structures, reasoning about their geometric relationships to one another, and determining the quality of their exposure. Prior works have approached this task by including semantic segmentation as an intermediate step, using predicted segmentation masks to then predict the CVS. While these methods are effective, they rely on extremely expensive ground-truth segmentation annotations and tend to fail when the predicted segmentation is incorrect, limiting generalization. In this work, we propose a method for CVS prediction wherein we first represent a surgical image using a disentangled latent scene graph, then process this representation using a graph neural network. Our graph representations explicitly encode semantic information – object location, class information, geometric relations – to improve anatomy-driven reasoning, as well as visual features to retain differentiability and thereby provide robustness to semantic errors. Finally, to address annotation cost, we propose to train our method using only bounding box annotations, incorporating an auxiliary image reconstruction objective to learn fine-grained object boundaries. We show that our method not only outperforms several baseline methods when trained with bounding box annotations, but also scales effectively when trained with segmentation masks, maintaining state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google