COMPASS: A Formal Framework and Aggregate Dataset for Generalized Surgical Procedure Modeling

要約

目的: より客観的なラベル付けとさまざまなデータセットの集約を可能にする、統合されたモーション プリミティブ (MP) セットを使用した低侵襲手術タスクのモデリングとセグメンテーションのための正式なフレームワークを提案します。
方法：ドライラボでの外科手術タスクを有限状態マシンとしてモデル化し、基本的な外科動作としての MP の実行がどのように外科環境の変化をもたらすかを表し、それが外科環境におけるツールとオブジェクト間の物理的相互作用を特徴づけます。
私たちは、ビデオデータに基づいて手術コンテキストをラベル付けし、コンテキストを MP ラベルに自動変換する方法を開発しています。
次に、フレームワークを使用して、運動学データ、ビデオ データ、コンテキスト、MP を含む、3 つの公的に利用可能なデータセット (JIGSAWS、DESK、および ROSMA) からの 6 つのドライラボ手術タスクを含む COntext および Motion Primitive Aggregate Surgical Set (COMPASS) を作成します。
ラベル。
結果: 私たちのコンテキスト ラベリング手法は、クラウド ソーシングと専門外科医からのコンセンサス ラベルの間でほぼ完全な一致を達成します。
MP へのタスクを分割することにより、COMPASS データセットが作成され、モデリングと分析用のデータ量がほぼ 3 倍になり、左右のツールで別々のトランスクリプトを生成できるようになります。
結論: 提案されたフレームワークにより、コンテキストと粒度の細かい MP に基づいて、外科データの高品質なラベル付けが可能になります。
MP を使用して手術タスクをモデル化すると、さまざまなデータセットを集約し、両手の協調性を評価するための左手と右手の個別の分析が可能になります。
当社の正式なフレームワークと集約データセットは、外科プロセス分析、スキル評価、エラー検出、自律性を改善するための、説明可能な多粒度モデルの開発をサポートできます。

要約(オリジナル)

Purpose: We propose a formal framework for the modeling and segmentation of minimally-invasive surgical tasks using a unified set of motion primitives (MPs) to enable more objective labeling and the aggregation of different datasets. Methods: We model dry-lab surgical tasks as finite state machines, representing how the execution of MPs as the basic surgical actions results in the change of surgical context, which characterizes the physical interactions among tools and objects in the surgical environment. We develop methods for labeling surgical context based on video data and for automatic translation of context to MP labels. We then use our framework to create the COntext and Motion Primitive Aggregate Surgical Set (COMPASS), including six dry-lab surgical tasks from three publicly-available datasets (JIGSAWS, DESK, and ROSMA), with kinematic and video data and context and MP labels. Results: Our context labeling method achieves near-perfect agreement between consensus labels from crowd-sourcing and expert surgeons. Segmentation of tasks to MPs results in the creation of the COMPASS dataset that nearly triples the amount of data for modeling and analysis and enables the generation of separate transcripts for the left and right tools. Conclusion: The proposed framework results in high quality labeling of surgical data based on context and fine-grained MPs. Modeling surgical tasks with MPs enables the aggregation of different datasets and the separate analysis of left and right hands for bimanual coordination assessment. Our formal framework and aggregate dataset can support the development of explainable and multi-granularity models for improved surgical process analysis, skill assessment, error detection, and autonomy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google