Personalizing Federated Instrument Segmentation with Visual Trait Priors in Robotic Surgery

要約

手術器具セグメンテーション (SIS) のためのパーソナライズされたフェデレーテッド ラーニング (PFL) は、有望なアプローチです。
これにより、複数の臨床施設が、各施設の個別の分布に合わせて調整された一連のモデルをプライバシー内で共同してトレーニングできるようになります。
既存の PFL 手法では、多頭の自己注意の個人化はほとんど考慮されておらず、手術シーンに固有の外観の多様性と器具の形状の類似性が考慮されていません。
したがって、我々は、SISの視覚的特性事前分布を備えた新しいPFL手法であるPFedSISを提案し、グローバルパーソナライズされたもつれ解除（GPD）、外観規制パーソナライズされた強化（APE）、および形状類似性グローバル強化（SGE）を組み込んで、それぞれのSISパフォーマンスを向上させます。
サイト。
GPD は、複数の頭の自己注意のパーソナライゼーションのための頭ごとの割り当ての最初の試みを表します。
各サイトの固有の外観表現を保持し、サイト間の差異を徐々に活用するために、APE は外観規制を導入し、各サイトのパーソナライズされたパラメータに対してハイパーネットワークを介してカスタマイズされたレイヤーごとの集約ソリューションを提供します。
機器の相互の形状情報は、SGE を介して維持および共有されます。これにより、画像レベルでスタイル間の形状の一貫性が強化され、グローバル パラメーターを更新するために予測レベルで各サイトの形状類似性の寄与が計算されます。
PFedSIS は、+1.51% Dice、+2.11% IoU、-2.79 ASSD、-15.55 HD95 のパフォーマンス向上により、最先端の手法を上回ります。
対応するコードとモデルは https://github.com/wzjialang/PFedSIS でリリースされます。

要約(オリジナル)

Personalized federated learning (PFL) for surgical instrument segmentation (SIS) is a promising approach. It enables multiple clinical sites to collaboratively train a series of models in privacy, with each model tailored to the individual distribution of each site. Existing PFL methods rarely consider the personalization of multi-headed self-attention, and do not account for appearance diversity and instrument shape similarity, both inherent in surgical scenes. We thus propose PFedSIS, a novel PFL method with visual trait priors for SIS, incorporating global-personalized disentanglement (GPD), appearance-regulation personalized enhancement (APE), and shape-similarity global enhancement (SGE), to boost SIS performance in each site. GPD represents the first attempt at head-wise assignment for multi-headed self-attention personalization. To preserve the unique appearance representation of each site and gradually leverage the inter-site difference, APE introduces appearance regulation and provides customized layer-wise aggregation solutions via hypernetworks for each site’s personalized parameters. The mutual shape information of instruments is maintained and shared via SGE, which enhances the cross-style shape consistency on the image level and computes the shape-similarity contribution of each site on the prediction level for updating the global parameters. PFedSIS outperforms state-of-the-art methods with +1.51% Dice, +2.11% IoU, -2.79 ASSD, -15.55 HD95 performance gains. The corresponding code and models will be released at https://github.com/wzjialang/PFedSIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google