Teaching pathology foundation models to accurately predict gene expression with parameter efficient knowledge transfer

要約

遺伝子発現プロファイリングは、細胞の不均一性、生物学的プロセス、疾患メカニズムに関する重要な洞察を提供します。
デジタル化された組織病理学の画像から遺伝子発現を直接予測できる計算アプローチへの関心が高まっています。
Image Foundationモデルは、さまざまな病理のダウンストリーム分析で有望であることを示していますが、遺伝子発現予測に関するパフォーマンスは依然として限られています。
トランスクリプトームモデルから情報を明示的に組み込むことで、画像モデルがドメインシフトに対処するのに役立ちますが、基礎モデルの微調整とアライメントは高価になる可能性があります。
作業では、ブロックアフィンの適応を活用し、クロスモーダルナレッジ転送のための知識の蒸留と構造アライメント損失を統合する新しいフレームワークであるパラメーター効率の知識転送（PEKA）を提案します。
さまざまなタイプの組織を含む複数の空間トランスクリプトームデータセット（一致した遺伝子発現プロファイルを備えた206,123の画像タイルを含む）を使用して、遺伝子発現予測についてPEKAを評価しました。
PEKAは、ベースラインファンデーションモデルよりも少なくとも5 \％のパフォーマンス改善を達成し、代替パラメーター効率の高い微調整戦略を上回りました。
Peer-Reviewの後にコード、データセット、アラインドモデルをリリースして、パラメーター効率の高いモデルアライメントのより広範な採用とさらなる開発を促進します。

要約(オリジナル)

Gene expression profiling provides critical insights into cellular heterogeneity, biological processes and disease mechanisms. There has been an increasing interest in computational approaches that can predict gene expression directly from digitalized histopathology images. While image foundation models have shown promise in a variety of pathology downstream analysis, their performances on gene-expression prediction are still limited. Explicitly incorporating information from the transcriptomic models can help image models to address domain shift, yet the fine-tuning and alignment of foundation models can be expensive. In the work, we propose Parameter Efficient Knowledge trAnsfer (PEKA), a novel framework that leverages Block-Affine Adaptation and integrates knowledge distillation and structure alignment losses for cross-modal knowledge transfer. We evaluated PEKA for gene expression prediction using multiple spatial transcriptomics datasets (comprising 206,123 image tiles with matched gene expression profiles) that encompassed various types of tissue. PEKA achieved at least 5\% performance improvement over baseline foundation models while also outperforming alternative parameter-efficient fine-tuning strategies. We will release the code, datasets and aligned models after peer-review to facilitate broader adoption and further development for parameter efficient model alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google