要約
現代の医療では、診断用のテキスト レポートとともに X 線画像を利用することが多く、多用途の医療視覚表現を学習するために大規模な事前トレーニング済みモデルを使用した視覚言語自己教師あり学習 (VL-SSL) の使用が奨励されています。
ただし、既存の VL-SSL フレームワークのほとんどはエンドツーエンドでトレーニングされるため、計算量が多く、事前トレーニングされたエンコーダーに埋め込まれた重要な事前情報が失われる可能性があります。
両方の問題に対処するために、バックボーンに依存しないアダプター フレームワークを導入します。これは、事前トレーニングされた画像エンコーダーとテキスト エンコーダーを凍結したままにすることで医療知識を保存し、クロスモーダル学習用の軽量アダプター モジュールを採用します。
3 つのデータセットにわたる医療画像分類およびセグメンテーション タスクの実験により、当社のフレームワークが、現在の事前トレーニング アプローチと比較してトレーニング可能なパラメーターを 90% 以上削減しながら、競争力のあるパフォーマンスを提供することが明らかになりました。
特に、わずか 1% のデータで微調整した場合、Adapter は医療画像セグメンテーションにおいて完全なデータセットでトレーニングされたいくつかの Transformer ベースの手法よりも優れたパフォーマンスを発揮します。
要約(オリジナル)
Modern healthcare often utilises radiographic images alongside textual reports for diagnostics, encouraging the use of Vision-Language Self-Supervised Learning (VL-SSL) with large pre-trained models to learn versatile medical vision representations. However, most existing VL-SSL frameworks are trained end-to-end, which is computation-heavy and can lose vital prior information embedded in pre-trained encoders. To address both issues, we introduce the backbone-agnostic Adaptor framework, which preserves medical knowledge in pre-trained image and text encoders by keeping them frozen, and employs a lightweight Adaptor module for cross-modal learning. Experiments on medical image classification and segmentation tasks across three datasets reveal that our framework delivers competitive performance while cutting trainable parameters by over 90% compared to current pre-training approaches. Notably, when fine-tuned with just 1% of data, Adaptor outperforms several Transformer-based methods trained on full datasets in medical image segmentation.
arxiv情報
著者 | Jiuming Qin,Che Liu,Sibo Cheng,Yike Guo,Rossella Arcucci |
発行日 | 2024-01-02 12:14:41+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google