Post-Deployment Adaptation with Access to Source Data via Federated Learning and Source-Target Remote Gradient Alignment

要約

医療画像処理におけるディープ ニューラル ネットワークの導入は、トレーニング データと導入後に処理されたデータの間の分布の変化によって妨げられ、パフォーマンスの低下を引き起こします。
デプロイメント後の適応 (PDA) は、限られたラベル付きまたは完全にラベルなしのターゲット データを使用して、事前にトレーニングされ、デプロイされたモデルをターゲット データの分布に合わせて調整することでこの問題に対処します。その一方で、ソース トレーニング データは、次の理由によりモデルとともにデプロイできないため、アクセスできないものと想定しています。
プライバシー上の懸念とその規模の大きさ。
このため、学習信号が限られているため、信頼性の高い適応が困難になります。
この論文では、この仮定に疑問を呈し、Federated Learning からのリモート データからの学習の有用性を PDA にもたらす新しい適応フレームワークである FedPDA を紹介します。
FedPDA を使用すると、展開されたモデルがリモート グラディエント交換を介してソース データから情報を取得できるようになり、ターゲット ドメイン専用にモデルを最適化することを目指します。
FedPDA に合わせて、内積を最大化することでソースとターゲットのドメインのペア間の勾配を調整する新しい最適化手法 StarAlign (ソースとターゲットのリモート勾配アライメント) を導入し、ターゲット固有のモデルの学習を容易にします。
我々は、癌転移検出と皮膚病変分類のタスクに対して多施設データベースを使用してこの方法の有効性を実証し、この方法は以前の研究と比べて優れています。
コードはhttps://github.com/FelixWag/StarAlignから入手できます。

要約(オリジナル)

Deployment of Deep Neural Networks in medical imaging is hindered by distribution shift between training data and data processed after deployment, causing performance degradation. Post-Deployment Adaptation (PDA) addresses this by tailoring a pre-trained, deployed model to the target data distribution using limited labelled or entirely unlabelled target data, while assuming no access to source training data as they cannot be deployed with the model due to privacy concerns and their large size. This makes reliable adaptation challenging due to limited learning signal. This paper challenges this assumption and introduces FedPDA, a novel adaptation framework that brings the utility of learning from remote data from Federated Learning into PDA. FedPDA enables a deployed model to obtain information from source data via remote gradient exchange, while aiming to optimize the model specifically for the target domain. Tailored for FedPDA, we introduce a novel optimization method StarAlign (Source-Target Remote Gradient Alignment) that aligns gradients between source-target domain pairs by maximizing their inner product, to facilitate learning a target-specific model. We demonstrate the method’s effectiveness using multi-center databases for the tasks of cancer metastases detection and skin lesion classification, where our method compares favourably to previous work. Code is available at: https://github.com/FelixWag/StarAlign

arxiv情報

提供元, 利用サービス

arxiv.jp, Google