Leveraging Computational Pathology AI for Noninvasive Optical Imaging Analysis Without Retraining

要約

非侵襲的な光学イメージングモダリティは、患者の組織を 3D でプローブし、サンプルあたり数ギガバイトの臨床関連データを時間の経過とともに生成できます。
このデータを分析し、臨床ワークフローを支援する AI モデルが必要です。
専門のラベラーの不足と、モデルのトレーニングと調整に必要な大規模なデータセット (100,000 を超える画像) が、基礎モデルの作成における主な障害となっています。
このペーパーでは、再トレーニングせずに計算病理学から任意の AI モデルを適用する方法である FoundationShift を紹介します。
複数の画像モダリティ (OCT および RCM) を使用した場合、私たちの方法が最先端のモデル (SAM、MedSAM、SAM-Med2D、CellProfiler、Hover-Net、PLIP、UNI、ChatGPT) よりも正確であることを示します。
これは、モデルの再トレーニングや微調整を必要とせずに実現されます。
私たちの方法を非侵襲的な生体内画像に適用することで、医師は光学イメージングモダリティを臨床診療に容易に組み込むことができ、リアルタイムの組織分析を提供し、患者ケアを改善できる可能性があります。

要約(オリジナル)

Noninvasive optical imaging modalities can probe patient’s tissue in 3D and over time generate gigabytes of clinically relevant data per sample. There is a need for AI models to analyze this data and assist clinical workflow. The lack of expert labelers and the large dataset required (>100,000 images) for model training and tuning are the main hurdles in creating foundation models. In this paper we introduce FoundationShift, a method to apply any AI model from computational pathology without retraining. We show our method is more accurate than state of the art models (SAM, MedSAM, SAM-Med2D, CellProfiler, Hover-Net, PLIP, UNI and ChatGPT), with multiple imaging modalities (OCT and RCM). This is achieved without the need for model retraining or fine-tuning. Applying our method to noninvasive in vivo images could enable physicians to readily incorporate optical imaging modalities into their clinical practice, providing real time tissue analysis and improving patient care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google