Counterfactual contrastive learning: robust representations via causal image synthesis

要約

対照的な事前トレーニングは、特に限られたラベル設定において、下流のタスクのパフォーマンスとモデルの一般化を向上させることがよく知られています。
ただし、拡張パイプラインの選択には影響されます。
正のペアは、ドメイン固有の情報を破棄しながら、セマンティック情報を保持する必要があります。
標準の拡張パイプラインは、事前定義されたフォトメトリック変換を使用してドメイン固有の変更をエミュレートしますが、代わりに現実的なドメインの変更をシミュレートできたらどうなるでしょうか?
この研究では、反事実的な画像生成における最近の進歩をこの効果に利用する方法を示します。
我々は、ポジティブペアの作成に近似反事実推論を活用する反事実対比学習アプローチである CF-SimCLR を提案します。
胸部 X 線撮影とマンモグラフィーに関する 5 つのデータセットにわたる包括的な評価では、CF-SimCLR が配信内および配信外の両方のデータ、特にトレーニング中に過小評価されている領域のダウンストリーム パフォーマンスの向上により、取得シフトに対する堅牢性が大幅に向上することが実証されました。

要約(オリジナル)

Contrastive pretraining is well-known to improve downstream task performance and model generalisation, especially in limited label settings. However, it is sensitive to the choice of augmentation pipeline. Positive pairs should preserve semantic information while destroying domain-specific information. Standard augmentation pipelines emulate domain-specific changes with pre-defined photometric transformations, but what if we could simulate realistic domain changes instead? In this work, we show how to utilise recent progress in counterfactual image generation to this effect. We propose CF-SimCLR, a counterfactual contrastive learning approach which leverages approximate counterfactual inference for positive pair creation. Comprehensive evaluation across five datasets, on chest radiography and mammography, demonstrates that CF-SimCLR substantially improves robustness to acquisition shift with higher downstream performance on both in- and out-of-distribution data, particularly for domains which are under-represented during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google