ST(OR)2: Spatio-Temporal Object Level Reasoning for Activity Recognition in the Operating Room

要約

外科用ロボット工学は、患者の安全性と手術室 (OR) での臨床医のエクスペリエンスを向上させるために大いに期待されています。
ただし、これには新たな課題も伴い、強力なチーム調整と効果的な手術室管理が必要になります。
手術活動の自動検出は、これらの課題に取り組む AI ベースのインテリジェント ツールを開発するための重要な要件です。
しかし、現在の最先端の手術活動認識方法は、画像ベースの表現で動作し、収集に時間とリソースがかかる大規模なラベル付きデータセットに依存しています。
この研究は、手術室における手術活動認識のための、サンプル効率の高いオブジェクトベースの新しいアプローチを提案します。
私たちの方法は、臨床医と手術装置の間の幾何学的配置に焦点を当てており、手術室における重要なオブジェクトの相互作用ダイナミクスを利用しています。
私たちは、長時間のビデオアクティビティ認識のための低データ体制研究の実験を行っています。
また、クリップレベルのアクション分類に関して他のオブジェクト中心のアプローチに対してこの方法をベンチマークし、優れたパフォーマンスを示しました。

要約(オリジナル)

Surgical robotics holds much promise for improving patient safety and clinician experience in the Operating Room (OR). However, it also comes with new challenges, requiring strong team coordination and effective OR management. Automatic detection of surgical activities is a key requirement for developing AI-based intelligent tools to tackle these challenges. The current state-of-the-art surgical activity recognition methods however operate on image-based representations and depend on large-scale labeled datasets whose collection is time-consuming and resource-expensive. This work proposes a new sample-efficient and object-based approach for surgical activity recognition in the OR. Our method focuses on the geometric arrangements between clinicians and surgical devices, thus utilizing the significant object interaction dynamics in the OR. We conduct experiments in a low-data regime study for long video activity recognition. We also benchmark our method againstother object-centric approaches on clip-level action classification and show superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google