Robust image representations with counterfactual contrastive learning

要約

対照的な事前トレーニングにより、モデルの一般化と下流のパフォーマンスを大幅に向上させることができます。
ただし、学習された表現の品質は、ポジティブ ペアの生成に適用されるデータ拡張戦略に大きく依存します。
正の対照的なペアは、データ取得ドメインに関連する不要なバリエーションを破棄しながら、意味論的な意味を保持する必要があります。
従来のコントラスト パイプラインは、事前定義された汎用画像変換を通じてドメイン シフトをシミュレートしようとします。
ただし、これらは、スキャナーの違いなど、医療画像処理に現実的で関連する領域の変化を常に模倣しているわけではありません。
この問題に取り組むために、ここでは、因果関係のある画像合成の最近の進歩を活用して、関連する領域の変動を忠実に捕捉する対照的なポジティブペアを作成する新しいフレームワークである反事実対比学習を紹介します。
確立された 2 つの対照目標 (SimCLR および DINO-v2) について、胸部 X 線撮影データとマンモグラフィ データの両方を含む 5 つのデータセットにわたって評価された私たちの方法は、取得シフトに対する堅牢性の点で標準的な造影学習を上回っています。
特に、反事実対比学習は、分布内データセットと外部データセットの両方で、特にトレーニング セットで過小評価されているスキャナーで取得された画像で優れたダウンストリーム パフォーマンスを実現します。
さらなる実験では、提案されたフレームワークが獲得シフトを超えて拡張され、反事実対照学習でトレーニングされたモデルが生物学的性別全体でサブグループのパフォーマンスを大幅に向上させることが示されました。

要約(オリジナル)

Contrastive pretraining can substantially increase model generalisation and downstream performance. However, the quality of the learned representations is highly dependent on the data augmentation strategy applied to generate positive pairs. Positive contrastive pairs should preserve semantic meaning while discarding unwanted variations related to the data acquisition domain. Traditional contrastive pipelines attempt to simulate domain shifts through pre-defined generic image transformations. However, these do not always mimic realistic and relevant domain variations for medical imaging such as scanner differences. To tackle this issue, we herein introduce counterfactual contrastive learning, a novel framework leveraging recent advances in causal image synthesis to create contrastive positive pairs that faithfully capture relevant domain variations. Our method, evaluated across five datasets encompassing both chest radiography and mammography data, for two established contrastive objectives (SimCLR and DINO-v2), outperforms standard contrastive learning in terms of robustness to acquisition shift. Notably, counterfactual contrastive learning achieves superior downstream performance on both in-distribution and on external datasets, especially for images acquired with scanners under-represented in the training set. Further experiments show that the proposed framework extends beyond acquisition shifts, with models trained with counterfactual contrastive learning substantially improving subgroup performance across biological sex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google