Interpretability analysis on a pathology foundation model reveals biologically relevant embeddings across modalities

要約

機械的な解釈可能性は、大規模言語モデル (LLM) について詳細に調査されています。
初めて、医療画像について同様の解釈可能性手法を使用した予備調査を提供します。
具体的には、2 つのデータセット (病理画像の 1 つのデータセットと、空間トランスクリプトミクスとペアになった病理画像の 1 つのデータセット) へのアプリケーションを介して、病理学基礎モデルから取得した ViT-Small エンコーダーからの特徴を分析します。
私たちは、モデル埋め込み空間内の遺伝子発現とともに、細胞および組織の形態の解釈可能な表現を発見します。
私たちの研究は、解釈可能な特徴の次元と、医療および臨床応用におけるその有用性に関するさらなる探求への道を切り開きます。

要約(オリジナル)

Mechanistic interpretability has been explored in detail for large language models (LLMs). For the first time, we provide a preliminary investigation with similar interpretability methods for medical imaging. Specifically, we analyze the features from a ViT-Small encoder obtained from a pathology Foundation Model via application to two datasets: one dataset of pathology images, and one dataset of pathology images paired with spatial transcriptomics. We discover an interpretable representation of cell and tissue morphology, along with gene expression within the model embedding space. Our work paves the way for further exploration around interpretable feature dimensions and their utility for medical and clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google