FeSViBS: Federated Split Learning of Vision Transformer with Block Sampling

要約

データ不足は、重要な医療アプリケーションにおける強力な機械学習モデルの学習を妨げる重大な障害となっています。
複数のエンティティ (病院など) 間のデータ共有メカニズムにより、モデルのトレーニングが加速され、より正確な予測が得られます。
最近では、Federated Learning (FL) や Split Learning (SL) などのアプローチにより、プライベート データを交換することなくコラボレーションが容易になりました。
この研究では、ブロック サンプリングを使用したビジョン トランスフォーマーの統合分割学習 (FeSViBS) と呼ばれる医療画像分類タスク用のフレームワークを提案します。
FeSViBS フレームワークは、既存のフェデレーテッド スプリット ビジョン トランスフォーマーに基づいて構築されており、サーバーのビジョン トランスフォーマー (ViT) によって抽出された中間特徴を利用するブロック サンプリング モジュールを導入しています。
これは、中間のトランスフォーマー ブロックから機能 (パッチ トークン) をサンプリングし、その情報コンテンツをクライアントに返す前に擬似クラス トークンに抽出することによって実現されます。
これらの疑似クラス トークンは、効果的な機能拡張戦略として機能し、学習されたモデルの一般化可能性を高めます。
IID 設定と非 IID 設定の両方で、3 つの公的に利用可能な医療画像データセット (HAM1000、BloodMNIST、および Fed-ISIC2019) について、他の SL および FL アプローチと比較して、提案された方法の有用性を実証します。
コード: https://github.com/faresmalik/FeSViBS

要約(オリジナル)

Data scarcity is a significant obstacle hindering the learning of powerful machine learning models in critical healthcare applications. Data-sharing mechanisms among multiple entities (e.g., hospitals) can accelerate model training and yield more accurate predictions. Recently, approaches such as Federated Learning (FL) and Split Learning (SL) have facilitated collaboration without the need to exchange private data. In this work, we propose a framework for medical imaging classification tasks called Federated Split learning of Vision transformer with Block Sampling (FeSViBS). The FeSViBS framework builds upon the existing federated split vision transformer and introduces a block sampling module, which leverages intermediate features extracted by the Vision Transformer (ViT) at the server. This is achieved by sampling features (patch tokens) from an intermediate transformer block and distilling their information content into a pseudo class token before passing them back to the client. These pseudo class tokens serve as an effective feature augmentation strategy and enhances the generalizability of the learned model. We demonstrate the utility of our proposed method compared to other SL and FL approaches on three publicly available medical imaging datasets: HAM1000, BloodMNIST, and Fed-ISIC2019, under both IID and non-IID settings. Code: https://github.com/faresmalik/FeSViBS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google