Robust image representations with counterfactual contrastive learning

要約

対照的な前orainingは、モデルの一般化と下流のパフォーマンスを大幅に増加させる可能性があります。
ただし、学習した表現の品質は、正のペアを生成するために適用されるデータ増強戦略に大きく依存しています。
肯定的な対照ペアは、データ収集ドメインに関連する不要なバリエーションを破棄しながら、意味的な意味を維持する必要があります。
従来のコントラストパイプラインは、事前に定義された一般的な画像変換を通じてドメインシフトをシミュレートしようとします。
ただし、これらは、スキャナーの違いなど、医療イメージングの現実的で関連するドメインのバリエーションを常に模倣するとは限りません。
この問題に取り組むために、ここでは、因果画像合成の最近の進歩を活用して、関連するドメインのバリエーションを忠実にキャプチャする対照的なポジティブペアを作成する新しいフレームワークである反事実的な対照学習を導入します。
2つの確立された対照的な目的（SIMCLRとDINO-V2）について、胸部X線撮影とマンモグラフィデータの両方を含む5つのデータセットで評価されたこの方法は、獲得シフトに対する堅牢性の観点から標準的な対照学習を上回ります。
特に、反事実的な対照学習は、特にトレーニングセットで過小評価されているスキャナーで取得された画像で、分散内データセットと外部データセットの両方で優れた下流のパフォーマンスを実現します。
さらなる実験は、提案されたフレームワークが獲得シフトを超えていることを示しており、モデルは反事実的な対照学習で訓練されており、生物学的性別全体のサブグループの格差を減らします。

要約(オリジナル)

Contrastive pretraining can substantially increase model generalisation and downstream performance. However, the quality of the learned representations is highly dependent on the data augmentation strategy applied to generate positive pairs. Positive contrastive pairs should preserve semantic meaning while discarding unwanted variations related to the data acquisition domain. Traditional contrastive pipelines attempt to simulate domain shifts through pre-defined generic image transformations. However, these do not always mimic realistic and relevant domain variations for medical imaging, such as scanner differences. To tackle this issue, we herein introduce counterfactual contrastive learning, a novel framework leveraging recent advances in causal image synthesis to create contrastive positive pairs that faithfully capture relevant domain variations. Our method, evaluated across five datasets encompassing both chest radiography and mammography data, for two established contrastive objectives (SimCLR and DINO-v2), outperforms standard contrastive learning in terms of robustness to acquisition shift. Notably, counterfactual contrastive learning achieves superior downstream performance on both in-distribution and external datasets, especially for images acquired with scanners under-represented in the training set. Further experiments show that the proposed framework extends beyond acquisition shifts, with models trained with counterfactual contrastive learning reducing subgroup disparities across biological sex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google