When do they StOP?: A First Step Towards Automatically Identifying Team Communication in the Operating Room

要約

目的：外科的パフォーマンスは、外科医の技術的スキルだけでなく、手術中に存在するさまざまな専門家グループ内および全体のチームコミュニケーションにも依存します。
したがって、ORでのチームコミュニケーションを自動的に特定することは、患者の安全性とコンピューター支援の外科的ワークフロー分析と術中サポートシステムの開発における進歩に重要です。
最初の一歩を踏み出すために、すべてまたはチームメンバーが関与するコミュニケーションブリーフィング、つまりチームのタイムアウトとストップ？ – プロトコルを検出する新しいタスクを提案します。
方法：Team-ORと呼ばれる実際の手術のデータセットを生成し、ORのマルチビューカメラシステムによってキャプチャされた100時間以上の手術ビデオを使用します。
データセットには、33のタイムアウトと22の停止の時間的注釈が含まれています。
次に、シーンのコンテキストとアクション機能の両方をエンコードし、効率的なニューラルネットワークモデルを使用して結果を出力する新しいグループアクティビティ検出アプローチを提案します。
結果：チームまたはデータセットの実験結果は、このアプローチが既存の最先端の時間的アクション検出アプローチを上回ることを示しています。
また、ORのグループ活動に関する研究の欠如も示しており、データセットの重要性を証明しています。
結論：チームのタイムアウトと停止を調査しますか？ – またはデータセットにグループアクティビティプロトコルの時間的注釈を提示し、既存のアプローチを上回る新しいグループアクティビティ検出アプローチを導入します。
コードはhttps://github.com/camma-public/team-orで入手できます。

要約(オリジナル)

Purpose: Surgical performance depends not only on surgeons’ technical skills but also on team communication within and across the different professional groups present during the operation. Therefore, automatically identifying team communication in the OR is crucial for patient safety and advances in the development of computer-assisted surgical workflow analysis and intra-operative support systems. To take the first step, we propose a new task of detecting communication briefings involving all OR team members, i.e. the team Time-out and the StOP?-protocol, by localizing their start and end times in video recordings of surgical operations. Methods: We generate an OR dataset of real surgeries, called Team-OR, with more than one hundred hours of surgical videos captured by the multi-view camera system in the OR. The dataset contains temporal annotations of 33 Time-out and 22 StOP?-protocol activities in total. We then propose a novel group activity detection approach, where we encode both scene context and action features, and use an efficient neural network model to output the results. Results: The experimental results on the Team-OR dataset show that our approach outperforms existing state-of-the-art temporal action detection approaches. It also demonstrates the lack of research on group activities in the OR, proving the significance of our dataset. Conclusion: We investigate the Team Time-Out and the StOP?-protocol in the OR, by presenting the first OR dataset with temporal annotations of group activities protocols, and introducing a novel group activity detection approach that outperforms existing approaches. Code is available at https://github.com/CAMMA-public/Team-OR .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google