Expectation Maximization Pseudo Labels

要約

この論文では、擬似ラベリングについて研究します。
擬似ラベル付けでは、ラベルのないデータに対する生の推論を自己トレーニング用の擬似ラベルとして使用します。
我々は、この手法と期待値最大化アルゴリズムとの間のリンクを確立することにより、擬似ラベル付けの経験的な成功を解明します。
これにより、元の疑似ラベル付けが、より包括的な基礎となる定式化の経験的推定として機能することがわかります。
この洞察に従って、ベイズの定理に基づく疑似ラベルの完全な一般化を提示します。これは、ベイジアン疑似ラベルと呼ばれます。
続いて、高品質の擬似ラベルを自動的に選択するためのしきい値の学習を含む、これらのベイジアン擬似ラベルを生成するための変分アプローチを導入します。
本稿の残りの部分では、医療画像の半教師ありセグメンテーションにおける疑似ラベリングとその一般化形式であるベイジアン疑似ラベリングのアプリケーションを紹介します。
具体的には、1) CT ボリュームからの肺血管の 3D バイナリ セグメンテーション。
2) MRI ボリュームからの脳腫瘍の 2D マルチクラスセグメンテーション。
3) MRI ボリュームからの全脳腫瘍の 3D バイナリ セグメンテーション。
4) MRI ボリュームからの前立腺の 3D バイナリ セグメンテーション。
さらに、擬似ラベルが学習された表現の堅牢性を強化できることを示します。
コードは次の GitHub リポジトリでリリースされています: https://github.com/moucheng2017/EMSSL

要約(オリジナル)

In this paper, we study pseudo-labelling. Pseudo-labelling employs raw inferences on unlabelled data as pseudo-labels for self-training. We elucidate the empirical successes of pseudo-labelling by establishing a link between this technique and the Expectation Maximisation algorithm. Through this, we realise that the original pseudo-labelling serves as an empirical estimation of its more comprehensive underlying formulation. Following this insight, we present a full generalisation of pseudo-labels under Bayes’ theorem, termed Bayesian Pseudo Labels. Subsequently, we introduce a variational approach to generate these Bayesian Pseudo Labels, involving the learning of a threshold to automatically select high-quality pseudo labels. In the remainder of the paper, we showcase the applications of pseudo-labelling and its generalised form, Bayesian Pseudo-Labelling, in the semi-supervised segmentation of medical images. Specifically, we focus on: 1) 3D binary segmentation of lung vessels from CT volumes; 2) 2D multi-class segmentation of brain tumours from MRI volumes; 3) 3D binary segmentation of whole brain tumours from MRI volumes; and 4) 3D binary segmentation of prostate from MRI volumes. We further demonstrate that pseudo-labels can enhance the robustness of the learned representations. The code is released in the following GitHub repository: https://github.com/moucheng2017/EMSSL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google