SANGRIA: Surgical Video Scene Graph Optimization for Surgical Workflow Prediction

要約

グラフベースの全体的なシーン表現は、外科ワークフローの理解を容易にし、最近大きな成功を収めています。
ただし、このタスクは、多くの場合、高密度に注釈が付けられた手術シーン データの利用可能性が限られているために妨げられます。
この研究では、下流のタスクで手術シーンのグラフを生成および最適化するためのエンドツーエンドのフレームワークを導入します。
私たちのアプローチは、グラフベースのスペクトル クラスタリングの柔軟性と基礎モデルの一般化機能を活用して、学習可能なプロパティを持つ教師なしシーン グラフを生成します。
連続するフレーム間の局所一致を使用して、初期の空間グラフをまばらな時間接続で強化し、時間近傍全体で時間的に一貫したクラスターを予測します。
動的なシーン グラフの時空間関係とノードの特徴をフェーズ セグメンテーションの下流タスクと共同で最適化することで、弱い手術フェーズ ラベルのみを使用した手術ビデオにおける意味論的なシーン理解とシーン グラフ生成というコストが高く、注釈の負担がかかるタスクに対処します。
さらに、パイプライン内に効果的な中間シーン表現のもつれ解除ステップを組み込むことにより、当社のソリューションは、外科ワークフロー認識において CATARACTS データセット上の SOTA を 8% の精度と 10% の F1 スコアで上回りました。

要約(オリジナル)

Graph-based holistic scene representations facilitate surgical workflow understanding and have recently demonstrated significant success. However, this task is often hindered by the limited availability of densely annotated surgical scene data. In this work, we introduce an end-to-end framework for the generation and optimization of surgical scene graphs on a downstream task. Our approach leverages the flexibility of graph-based spectral clustering and the generalization capability of foundation models to generate unsupervised scene graphs with learnable properties. We reinforce the initial spatial graph with sparse temporal connections using local matches between consecutive frames to predict temporally consistent clusters across a temporal neighborhood. By jointly optimizing the spatiotemporal relations and node features of the dynamic scene graph with the downstream task of phase segmentation, we address the costly and annotation-burdensome task of semantic scene comprehension and scene graph generation in surgical videos using only weak surgical phase labels. Further, by incorporating effective intermediate scene representation disentanglement steps within the pipeline, our solution outperforms the SOTA on the CATARACTS dataset by 8% accuracy and 10% F1 score in surgical workflow recognition

arxiv情報

提供元, 利用サービス

arxiv.jp, Google