Generating Counterfactual Trajectories with Latent Diffusion Models for Concept Discovery

要約

信頼性は、医療のような一か八かの分野で不透明な深層学習モデルを安全に適用するための主要な前提条件です。
意思決定プロセスを理解することは、信頼の醸成に貢献するだけでなく、医学研究の現状を前進させる可能性のある複雑なモデルのこれまで知られていなかった意思決定基準を明らかにすることにもつながる可能性があります。
ブラック ボックス モデルから意思決定に関連する概念を発見することは、特に困難な作業です。
この研究は、拡散モデルの優れた画像合成機能を活用した概念発見のための新しい 3 ステップのフレームワークである、潜在拡散ベースの反事実軌跡 (CDCT) による概念発見を提案します。
最初のステップでは、CDCT は潜在拡散モデル (LDM) を使用して、反事実の軌跡データセットを生成します。
このデータセットは、変分オートエンコーダー (VAE) を使用して、分類関連の概念のもつれを解いた表現を導出するために使用されます。
最後に、検索アルゴリズムを適用して、もつれが解けた潜在空間内の関連する概念を特定します。
最大の公開皮膚病変データセットでトレーニングされた分類器に CDCT を適用すると、いくつかのバイアスの存在だけでなく、意味のあるバイオマーカーも明らかになりました。
さらに、CDCT 内で生成された反事実は、以前に確立された最先端の方法で生成されたものよりも優れた FID スコアを示し、リソース効率も 12 倍優れています。
教師なしコンセプトの発見は、信頼できる AI の応用とさまざまな領域での人間の知識のさらなる発展に大きな可能性を秘めています。
CDCT は、この方向へのさらなるステップを表します。

要約(オリジナル)

Trustworthiness is a major prerequisite for the safe application of opaque deep learning models in high-stakes domains like medicine. Understanding the decision-making process not only contributes to fostering trust but might also reveal previously unknown decision criteria of complex models that could advance the state of medical research. The discovery of decision-relevant concepts from black box models is a particularly challenging task. This study proposes Concept Discovery through Latent Diffusion-based Counterfactual Trajectories (CDCT), a novel three-step framework for concept discovery leveraging the superior image synthesis capabilities of diffusion models. In the first step, CDCT uses a Latent Diffusion Model (LDM) to generate a counterfactual trajectory dataset. This dataset is used to derive a disentangled representation of classification-relevant concepts using a Variational Autoencoder (VAE). Finally, a search algorithm is applied to identify relevant concepts in the disentangled latent space. The application of CDCT to a classifier trained on the largest public skin lesion dataset revealed not only the presence of several biases but also meaningful biomarkers. Moreover, the counterfactuals generated within CDCT show better FID scores than those produced by a previously established state-of-the-art method, while being 12 times more resource-efficient. Unsupervised concept discovery holds great potential for the application of trustworthy AI and the further development of human knowledge in various domains. CDCT represents a further step in this direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google