Federated Learning for Chronic Obstructive Pulmonary Disease Classification with Partial Personalized Attention Mechanism

要約

慢性閉塞性肺疾患 (COPD) は、世界で 4 番目に多い死因です。
しかし、COPD の診断はスパイロメトリー検査と機能的な気道制限に大きく依存しており、特に初期段階で過小診断されている COPD 患者のかなりの部分を引き起こす可能性があります。
深層学習 (DL) の最近の進歩は、CT 画像からの COPD の識別に有望な可能性を示しています。
ただし、不均一な症候群と異なる表現型があるため、あるデータ センターの CT でトレーニングされた DL モデルは、別のセンターの画像では一般化できません。
プライバシーの規則化により、分散した CT 画像を 1 つの中央センターに集約することは現実的ではありません。
フェデレーテッド ラーニング (FL) アプローチにより、分散したプライベート データを使用したトレーニングが可能になります。
しかし、ルーチンの FL ソリューションは、COPD CT が独立しておらず、同一に分散されていない (非 IID) 場合、パフォーマンスの低下に悩まされます。
この問題に対処するために、分散型および異種 COPD CT 用のビジョン トランスフォーマー (ViT) に基づく、新しいパーソナライズされた連合学習 (PFL) メソッドを提案します。
より具体的には、マルチヘッドの自己注意レイヤーで一部の頭を部分的にパーソナライズして、ローカル データのパーソナライズされた注意を学習し、他の頭を共有して共通の注意を抽出します。
私たちの知る限り、これは ViT が COPD を特定するための PFL フレームワークの最初の提案です。
6 つの医療センターからキュレーションされたデータセット セットの評価では、畳み込みニューラル ネットワークの PFL アプローチよりも優れていることが示されています。

要約(オリジナル)

Chronic Obstructive Pulmonary Disease (COPD) is the fourth leading cause of death worldwide. Yet, COPD diagnosis heavily relies on spirometric examination as well as functional airway limitation, which may cause a considerable portion of COPD patients underdiagnosed especially at the early stage. Recent advance in deep learning (DL) has shown their promising potential in COPD identification from CT images. However, with heterogeneous syndromes and distinct phenotypes, DL models trained with CTs from one data center fail to generalize on images from another center. Due to privacy regularizations, a collaboration of distributed CT images into one centralized center is not feasible. Federated learning (FL) approaches enable us to train with distributed private data. Yet, routine FL solutions suffer from performance degradation in the case where COPD CTs are not independent and identically distributed (Non-IID). To address this issue, we propose a novel personalized federated learning (PFL) method based on vision transformer (ViT) for distributed and heterogeneous COPD CTs. To be more specific, we partially personalize some heads in multiheaded self-attention layers to learn the personalized attention for local data and retain the other heads shared to extract the common attention. To the best of our knowledge, this is the first proposal of a PFL framework specifically for ViT to identify COPD. Our evaluation of a dataset set curated from six medical centers shows our method outperforms the PFL approaches for convolutional neural networks.

arxiv情報

著者 Yiqing Shen,Baiyun Liu,Ruize Yu,Yudong Wang,Shaokang Wang,Jiangfen Wu,Weidao Chen
発行日 2022-10-28 14:12:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク