Privacy-Preserving Synthetic Continual Semantic Segmentation for Robotic Surgery

要約

ロボット器具や組織のディープ ニューラル ネットワーク (DNN) ベースのセマンティック セグメンテーションにより、ロボット支援手術における手術活動の精度を向上させることができます。
しかし、生物学的学習では、DNN は時間の経過とともに増分タスクを学習できず、壊滅的な忘却を示します。これは、新しいタスクを学習した後に、以前に学習したタスクのパフォーマンスが急激に低下することを指します。
具体的には、データ不足が問題である場合、モデルは、新しい計測器で新しいデータを学習した後、以前に学習した計測器のパフォーマンスが急速に低下することを示します。
プライバシー上の懸念や、継続学習モデル用の機器の新しいバージョンまたは更新されたバージョンのデータが利用できないため、古いモデル用の古い機器のデータセットのリリースが制限されると、問題はさらに悪化します。
この目的のために、私たちは、(i) 公の場で実際の患者データを明らかにすることなく、オープンソースの古い機器の前景と合成された背景、および (ii) 広範囲に拡張された現実の新しい機器の前景をブレンドおよび調和させることにより、プライバシーを保護する合成連続セマンティック セマンティック セグメンテーション フレームワークを開発します。
背景。
古いモデルから継続学習モデルへのバランスのとれたロジット蒸留を強化するために、モデル学習ユーティリティを制御することにより、重複するクラス認識温度正規化 (CAT) を設計します。
また、情報が限られた従来の短距離空間特徴では特徴抽出の能力が低下する場合、意味論的オブジェクト間の長距離および短距離の空間関係を維持するために、マルチスケール シフト特徴抽出 (SD) も導入します。
一般化された継続学習設定を使用して、EndoVis 2017 および 2018 の機器セグメンテーション データセットに対するフレームワークの有効性を実証します。
コードは~\url{https://github.com/XuMengyaAmy/Synthetic_CAT_SD}で入手できます。

要約(オリジナル)

Deep Neural Networks (DNNs) based semantic segmentation of the robotic instruments and tissues can enhance the precision of surgical activities in robot-assisted surgery. However, in biological learning, DNNs cannot learn incremental tasks over time and exhibit catastrophic forgetting, which refers to the sharp decline in performance on previously learned tasks after learning a new one. Specifically, when data scarcity is the issue, the model shows a rapid drop in performance on previously learned instruments after learning new data with new instruments. The problem becomes worse when it limits releasing the dataset of the old instruments for the old model due to privacy concerns and the unavailability of the data for the new or updated version of the instruments for the continual learning model. For this purpose, we develop a privacy-preserving synthetic continual semantic segmentation framework by blending and harmonizing (i) open-source old instruments foreground to the synthesized background without revealing real patient data in public and (ii) new instruments foreground to extensively augmented real background. To boost the balanced logit distillation from the old model to the continual learning model, we design overlapping class-aware temperature normalization (CAT) by controlling model learning utility. We also introduce multi-scale shifted-feature distillation (SD) to maintain long and short-range spatial relationships among the semantic objects where conventional short-range spatial features with limited information reduce the power of feature distillation. We demonstrate the effectiveness of our framework on the EndoVis 2017 and 2018 instrument segmentation dataset with a generalized continual learning setting. Code is available at~\url{https://github.com/XuMengyaAmy/Synthetic_CAT_SD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google