Source Identification: A Self-Supervision Task for Dense Prediction

要約

自己監視のパラダイムは、現在のデータ駆動型手法の主なボトルネックである、労力のかかるアノテーションを必要とせずに生データから表現を学習することに焦点を当てています。
自己監視タスクは、大量のラベルなしデータを使用してニューラル ネットワークを事前トレーニングし、データセットの一般的な特徴を抽出するためによく使用されます。
学習されたモデルには、下流のメインタスクに転送できる有用な情報が含まれている可能性があり、ランダムなパラメーター初期化と比較してパフォーマンスが向上します。
この論文では、古典的なブラインド音源分離問題から着想を得た、音源識別 (SI) と呼ばれる新しい自己監視タスクを提案します。
合成画像は複数のソース画像を融合することによって生成され、ネットワークのタスクは、融合された画像を基に元の画像を再構築することです。
タスクを正常に解決するには、画像の内容を適切に理解する必要があります。
我々は、脳腫瘍セグメンテーションと白質高信号セグメンテーションという 2 つの医療画像セグメンテーション タスクでこの方法を検証します。
結果は、提案された SI タスクが、修復、ピクセル シャッフリング、強度シフト、超解像度などの高密度予測に対して、従来の自己監視タスクよりも優れていることを示しています。
異なるタイプの画像を融合する SI タスクのバリエーションの中で、異なる患者からの画像を融合することが最も効果的です。

要約(オリジナル)

The paradigm of self-supervision focuses on representation learning from raw data without the need of labor-consuming annotations, which is the main bottleneck of current data-driven methods. Self-supervision tasks are often used to pre-train a neural network with a large amount of unlabeled data and extract generic features of the dataset. The learned model is likely to contain useful information which can be transferred to the downstream main task and improve performance compared to random parameter initialization. In this paper, we propose a new self-supervision task called source identification (SI), which is inspired by the classic blind source separation problem. Synthetic images are generated by fusing multiple source images and the network’s task is to reconstruct the original images, given the fused images. A proper understanding of the image content is required to successfully solve the task. We validate our method on two medical image segmentation tasks: brain tumor segmentation and white matter hyperintensities segmentation. The results show that the proposed SI task outperforms traditional self-supervision tasks for dense predictions including inpainting, pixel shuffling, intensity shift, and super-resolution. Among variations of the SI task fusing images of different types, fusing images from different patients performs best.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google