Self-Supervised Video Desmoking for Laparoscopic Surgery

要約

実際のペアデータを収集するのが難しいため、既存のほとんどの禁煙方法は煙を合成することによってモデルをトレーニングしており、実際の手術シナリオにあまり一般化できません。
いくつかの作品では、非対学習方式で単一画像の実世界の禁煙を検討していますが、依然として濃煙の処理において課題に直面しています。
この研究では、自己監視手術ビデオデスモーキング (SelfSVD) を導入することで、これらの問題に一緒に対処します。
一方で、高エネルギーデバイスの起動前にキャプチャされたフレームは一般にクリアであることが観察されています (プリスモーク フレーム、PS フレームと呼ばれます)。したがって、このフレームは他の煙のようなフレームの監視として機能し、現実世界の自己フレームを作成します。
監視付きビデオによる禁煙は実質的に実現可能です。
一方、デスモーキングのパフォーマンスを向上させるために、PS フレームからの貴重な情報をモデルにさらにフィードします。そこでは、自明な解決策を避けるためにマスキング戦略と正則化項が提示されます。
さらに、さまざまな煙のシーンをカバーする、禁煙用の実際の手術ビデオ データセットを構築します。
データセットに対する広範な実験により、SelfSVD が最先端の方法よりも写真のようにリアルな詳細を復元しながら、より効果的かつ効率的に煙を除去できることが示されました。
データセット、コード、事前トレーニングされたモデルは \url{https://github.com/ZcsrenlongZ/SelfSVD} で入手できます。

要約(オリジナル)

Due to the difficulty of collecting real paired data, most existing desmoking methods train the models by synthesizing smoke, generalizing poorly to real surgical scenarios. Although a few works have explored single-image real-world desmoking in unpaired learning manners, they still encounter challenges in handling dense smoke. In this work, we address these issues together by introducing the self-supervised surgery video desmoking (SelfSVD). On the one hand, we observe that the frame captured before the activation of high-energy devices is generally clear (named pre-smoke frame, PS frame), thus it can serve as supervision for other smoky frames, making real-world self-supervised video desmoking practically feasible. On the other hand, in order to enhance the desmoking performance, we further feed the valuable information from PS frame into models, where a masking strategy and a regularization term are presented to avoid trivial solutions. In addition, we construct a real surgery video dataset for desmoking, which covers a variety of smoky scenes. Extensive experiments on the dataset show that our SelfSVD can remove smoke more effectively and efficiently while recovering more photo-realistic details than the state-of-the-art methods. The dataset, codes, and pre-trained models are available at \url{https://github.com/ZcsrenlongZ/SelfSVD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google