Freeze the backbones: A Parameter-Efficient Contrastive Approach to Robust Medical Vision-Language Pre-training

要約

現代の医療では、診断用のテキスト レポートとともに X 線画像を利用することが多く、多用途の医療視覚表現を学習するために大規模な事前トレーニング済みモデルを使用した視覚言語自己教師あり学習 (VL-SSL) の使用が奨励されています。
ただし、既存の VL-SSL フレームワークのほとんどはエンドツーエンドでトレーニングされるため、計算量が多く、事前トレーニングされたエンコーダーに埋め込まれた重要な事前情報が失われる可能性があります。
両方の問題に対処するために、バックボーンに依存しないアダプター フレームワークを導入します。これは、事前トレーニングされた画像エンコーダーとテキスト エンコーダーを凍結したままにすることで医療知識を保存し、クロスモーダル学習用の軽量アダプター モジュールを採用します。
3 つのデータセットにわたる医療画像分類およびセグメンテーション タスクの実験により、当社のフレームワークが、現在の事前トレーニング アプローチと比較してトレーニング可能なパラメーターを 90% 以上削減しながら、競争力のあるパフォーマンスを提供することが明らかになりました。
特に、わずか 1% のデータで微調整した場合、Adapter は医療画像セグメンテーションにおいて完全なデータセットでトレーニングされたいくつかの Transformer ベースの手法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Modern healthcare often utilises radiographic images alongside textual reports for diagnostics, encouraging the use of Vision-Language Self-Supervised Learning (VL-SSL) with large pre-trained models to learn versatile medical vision representations. However, most existing VL-SSL frameworks are trained end-to-end, which is computation-heavy and can lose vital prior information embedded in pre-trained encoders. To address both issues, we introduce the backbone-agnostic Adaptor framework, which preserves medical knowledge in pre-trained image and text encoders by keeping them frozen, and employs a lightweight Adaptor module for cross-modal learning. Experiments on medical image classification and segmentation tasks across three datasets reveal that our framework delivers competitive performance while cutting trainable parameters by over 90% compared to current pre-training approaches. Notably, when fine-tuned with just 1% of data, Adaptor outperforms several Transformer-based methods trained on full datasets in medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google