PCRLv2: A Unified Visual Information Preservation Framework for Self-supervised Pre-training in Medical Image Analysis

要約

コンピューター ビジョンにおける自己教師あり学習 (SSL) の最近の進歩は、主に比較であり、その目標は、シャム イメージ ビューを比較することにより、潜在表現の不変および識別セマンティクスを維持することです。
ただし、保存された高レベルのセマンティクスには、医用画像分析 (画像ベースの診断や腫瘍セグメンテーションなど) に不可欠な十分なローカル情報が含まれていません。
比較 SSL の局所性の問題を軽減するために、より多くのピクセル レベルの情報を高レベルのセマンティクスに明示的にエンコードするためのピクセル復元のタスクを組み込むことを提案します。
また、画像の理解を助ける強力なツールである縮尺情報の保存にも取り組みますが、SSL ではあまり注目されていません。
結果として得られるフレームワークは、機能ピラミッドのマルチタスク最適化問題として定式化できます。
具体的には、マルチスケールのピクセル復元とピラミッド内のシャム特徴比較を行います。
さらに、特徴ピラミッドを構築するノンスキップ U-Net を提案し、3D 医用画像処理におけるマルチクロップを置き換えるサブクロップを開発します。
提案された統合 SSL フレームワーク (PCRLv2) は、脳腫瘍のセグメンテーション (BraTS 2018)、胸部病理の識別 (ChestX-ray、CheXpert)、肺結節の検出 (LUNA)、腹部臓器のセグメンテーション (
LiTS) を使用しており、注釈が限られているため、大きなマージンでそれらを上回る場合があります。

要約(オリジナル)

Recent advances in self-supervised learning (SSL) in computer vision are primarily comparative, whose goal is to preserve invariant and discriminative semantics in latent representations by comparing siamese image views. However, the preserved high-level semantics do not contain enough local information, which is vital in medical image analysis (e.g., image-based diagnosis and tumor segmentation). To mitigate the locality problem of comparative SSL, we propose to incorporate the task of pixel restoration for explicitly encoding more pixel-level information into high-level semantics. We also address the preservation of scale information, a powerful tool in aiding image understanding but has not drawn much attention in SSL. The resulting framework can be formulated as a multi-task optimization problem on the feature pyramid. Specifically, we conduct multi-scale pixel restoration and siamese feature comparison in the pyramid. In addition, we propose non-skip U-Net to build the feature pyramid and develop sub-crop to replace multi-crop in 3D medical imaging. The proposed unified SSL framework (PCRLv2) surpasses its self-supervised counterparts on various tasks, including brain tumor segmentation (BraTS 2018), chest pathology identification (ChestX-ray, CheXpert), pulmonary nodule detection (LUNA), and abdominal organ segmentation (LiTS), sometimes outperforming them by large margins with limited annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google