Rethinking Surgical Instrument Segmentation: A Background Image Can Be All You Need

要約

データの多様性と量は、深層学習モデルのトレーニングを成功させるために不可欠ですが、医用画像分野では、データの収集と注釈の難しさとコストが特に大きくなります。
特にロボット手術では、データの不足と不均衡がモデルの精度に大きく影響し、手術器具のセグメンテーションなどの深層学習ベースの手術アプリケーションの設計と展開を制限しています。
これを考慮して、この論文では、手術器具のセグメンテーションタスクを再考し、ロボット手術からのデータ収集と注釈付けの複雑で費用のかかるプロセスを取り除く1対多のデー​​タ生成ソリューションを提案します。
私たちの方法では、シード画像として単一の外科的背景組織画像といくつかのオープンソース機器画像のみを利用し、複数の増強とブレンド技術を適用して、画像のバリエーションの量を合成します。
さらに、データの多様性をさらに強化するために、トレーニング中に連鎖拡張ミキシングを導入します。
提案されたアプローチは、EndoVis-2018およびEndoVis-2017の手術シーンセグメンテーションの実際のデータセットで評価されます。
私たちの経験的分析は、データ収集と注釈の高コストなしで、まともな手術器具のセグメンテーション性能を達成できることを示唆しています。
さらに、私たちの方法は、展開ドメインでの新しい機器予測を処理できることも観察しています。
私たちの刺激的な結果が、クラスの不均衡、ドメインの適応、増分学習などのデータ不足に加えて、要求の厳しいディープラーニングの制限を克服するためにデータ中心の方法を強調するように研究者を促すことを願っています。

要約(オリジナル)

Data diversity and volume are crucial to the success of training deep learning models, while in the medical imaging field, the difficulty and cost of data collection and annotation are especially huge. Specifically in robotic surgery, data scarcity and imbalance have heavily affected the model accuracy and limited the design and deployment of deep learning-based surgical applications such as surgical instrument segmentation. Considering this, in this paper, we rethink the surgical instrument segmentation task and propose a one-to-many data generation solution that gets rid of the complicated and expensive process of data collection and annotation from robotic surgery. In our method, we only utilize a single surgical background tissue image and a few open-source instrument images as the seed images and apply multiple augmentations and blending techniques to synthesize amounts of image variations. In addition, we also introduce the chained augmentation mixing during training to further enhance the data diversities. The proposed approach is evaluated on the real datasets of the EndoVis-2018 and EndoVis-2017 surgical scene segmentation. Our empirical analysis suggests that without the high cost of data collection and annotation, we can achieve decent surgical instrument segmentation performance. Moreover, we also observe that our method can deal with novel instrument prediction in the deployment domain. We hope our inspiring results would encourage researchers to emphasize data-centric methods to overcome demanding deep learning limitations besides data shortage, such as class imbalance, domain adaptation, and incremental learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google