Kinematic Data-Based Action Segmentation for Surgical Applications

要約

アクションのセグメンテーションは、さまざまなセンサーから取得したビデオまたは運動学的データに対して通常実行される、高レベルのプロセス分析における困難なタスクです。
外科手術のコンテキストでは、アクションのセグメンテーションはワークフロー分析アルゴリズムにとって重要です。
この作業は、運動学的データのアクション セグメンテーションに関連する 2 つの貢献を示しています。
最初に、運動学的データ用に特別に設計された、MS-TCN-BiLSTM と MS-TCN-BiGRU の 2 つのマルチステージ アーキテクチャを紹介します。
アーキテクチャは、ステージ内正則化と双方向 LSTM または GRU ベースの改良ステージを備えた予測ジェネレーターで構成されます。
次に、アルゴリズムのパフォーマンスとロバスト性を向上させるために運動学的データの強力な幾何学的構造を利用する 2 つの新しいデータ拡張技術、World Frame Rotation と Horizo​​ntal-Flip を提案します。
外科的縫合タスクの 3 つのデータセットでモデルを評価します: 可変組織シミュレーション (VTS) データセットと新しく導入された腸修復シミュレーション (BRS) データセット、どちらも私たちが収集したオープン手術シミュレーション データセット、および JHU-
ISI Gesture and Skill Assessment Working Set (JIGSAWS) は、ロボット手術のベンチマークとしてよく知られています。
私たちの方法は、すべてのベンチマーク データセットで最先端のパフォーマンスを達成し、BRS データセットの強力なベースラインを確立します。

要約(オリジナル)

Action segmentation is a challenging task in high-level process analysis, typically performed on video or kinematic data obtained from various sensors. In the context of surgical procedures, action segmentation is critical for workflow analysis algorithms. This work presents two contributions related to action segmentation on kinematic data. Firstly, we introduce two multi-stage architectures, MS-TCN-BiLSTM and MS-TCN-BiGRU, specifically designed for kinematic data. The architectures consist of a prediction generator with intra-stage regularization and Bidirectional LSTM or GRU-based refinement stages. Secondly, we propose two new data augmentation techniques, World Frame Rotation and Horizontal-Flip, which utilize the strong geometric structure of kinematic data to improve algorithm performance and robustness. We evaluate our models on three datasets of surgical suturing tasks: the Variable Tissue Simulation (VTS) Dataset and the newly introduced Bowel Repair Simulation (BRS) Dataset, both of which are open surgery simulation datasets collected by us, as well as the JHU-ISI Gesture and Skill Assessment Working Set (JIGSAWS), a well-known benchmark in robotic surgery. Our methods achieve state-of-the-art performance on all benchmark datasets and establish a strong baseline for the BRS dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google