Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare

要約

デジタル医療データの驚異的な増加により、医療記録、臨床記録、その他のテキストベースの健康情報を精査するために、自然言語処理 (NLP) などの機械学習手法を活用することへの関心が高まっています。
NLP 技術は、患者ケアを強化し、臨床上の意思決定に情報を提供する上で大きな可能性を示していますが、データのプライバシーと規制の順守は依然として重大な懸念事項です。
フェデレーテッド ラーニング (FL) は、生データを配布することなく、複数の組織が機械学習モデルを共同でトレーニングできるようにする、実行可能なソリューションとして浮上しています。
このペーパーでは、FL、NLP モデル、NVIDIA が開発した NVFlare フレームワークを統合することによる、医療 NLP への実用的なアプローチを提案します。
医療データ内のコンテキストとセマンティクスを理解する際に優れたパフォーマンスを示した、Long-Short Term Memory (LSTM) ベースのモデルと Transformers からの双方向エンコーダー表現 (BERT) という 2 つの典型的な NLP モデルを紹介します。
このペーパーでは、高い精度とパフォーマンスを維持しながら、データ プライバシーと規制遵守の課題に対処し、BERT の事前トレーニングを組み込み、提案されたアプローチの有効性を包括的に実証する統合フレームワークの開発について説明します。

要約(オリジナル)

The prodigious growth of digital health data has precipitated a mounting interest in harnessing machine learning methodologies, such as natural language processing (NLP), to scrutinize medical records, clinical notes, and other text-based health information. Although NLP techniques have exhibited substantial potential in augmenting patient care and informing clinical decision-making, data privacy and adherence to regulations persist as critical concerns. Federated learning (FL) emerges as a viable solution, empowering multiple organizations to train machine learning models collaboratively without disseminating raw data. This paper proffers a pragmatic approach to medical NLP by amalgamating FL, NLP models, and the NVFlare framework, developed by NVIDIA. We introduce two exemplary NLP models, the Long-Short Term Memory (LSTM)-based model and Bidirectional Encoder Representations from Transformers (BERT), which have demonstrated exceptional performance in comprehending context and semantics within medical data. This paper encompasses the development of an integrated framework that addresses data privacy and regulatory compliance challenges while maintaining elevated accuracy and performance, incorporating BERT pretraining, and comprehensively substantiating the efficacy of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google