Action Recognition in Video Recordings from Gynecologic Laparoscopy

要約

動作認識は、外科訓練、手術室計画、フォローアップ手術の準備、術後の外科評価、および外科結果の推定を含むがこれらに限定されない、腹腔鏡ビデオ分析における多くのアプリケーションの前提条件です。
しかし、腹腔鏡手術における自動アクション認識には、(I) クロスアクションおよびアクション内の持続時間の変動、(II) 煙、血液の蓄積、高速カメラの動き、器官の動き、オブジェクトの遮蔽、および
(III) 照明や視点の違いによる手術シーンの変化。
さらに、腹腔鏡手術におけるアクションのアノテーションは、専門知識が必要なため制限されており、高価です。
この研究では、腹腔鏡手術の動作認識における前述の課題に対処するために、CNN-RNN アーキテクチャとカスタマイズされたトレーニング推論フレームワークを設計および評価します。
私たちが提案するネットワークは、積み重ねられた再帰層を使用して、フレーム間の依存関係を利用して、コンテンツの歪みやアクション認識の変動による悪影響を打ち消します。
さらに、私たちが提案するフレームサンプリング戦略は、外科手術の持続時間の変動を効果的に管理し、高い時間分解能での動作認識を可能にします。
私たちの広範な実験により、静的 CNN と比較して、アクション認識における私たちの提案方法の優位性が確認されています。

要約(オリジナル)

Action recognition is a prerequisite for many applications in laparoscopic video analysis including but not limited to surgical training, operation room planning, follow-up surgery preparation, post-operative surgical assessment, and surgical outcome estimation. However, automatic action recognition in laparoscopic surgeries involves numerous challenges such as (I) cross-action and intra-action duration variation, (II) relevant content distortion due to smoke, blood accumulation, fast camera motions, organ movements, object occlusion, and (III) surgical scene variations due to different illuminations and viewpoints. Besides, action annotations in laparoscopy surgeries are limited and expensive due to requiring expert knowledge. In this study, we design and evaluate a CNN-RNN architecture as well as a customized training-inference framework to deal with the mentioned challenges in laparoscopic surgery action recognition. Using stacked recurrent layers, our proposed network takes advantage of inter-frame dependencies to negate the negative effect of content distortion and variation in action recognition. Furthermore, our proposed frame sampling strategy effectively manages the duration variations in surgical actions to enable action recognition with high temporal resolution. Our extensive experiments confirm the superiority of our proposed method in action recognition compared to static CNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google