Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks

要約

ディープ リグレッションは、多くのアプリケーションにとって重要な問題です。
これらは、写真からの年齢推定などのコンピュータ ビジョン タスクから、疾患追跡のための心エコー図からの駆出率推定などの医療タスクにまで及びます。
ただし、深い回帰のための半教師付きアプローチは、分類およびセグメンテーション タスクと比較して、明らかに十分に調査されていません。
クラス疑似ラベルを生成するためにしきい値関数に依存する分類タスクとは異なり、回帰タスクは、実数ターゲット予測を疑似ラベルとして直接使用するため、予測品質に対してより敏感になります。
この作業では、半教師あり回帰への新しいアプローチ、つまり不確実性整合変分モデル アンサンブル (UCVME) を提案します。これは、不均一分散回帰の高品質の疑似ラベルと不確実性推定を生成することでトレーニングを改善します。
偶然の不確実性は定義により入力データにのみ依存し、同じ入力に対して等しいはずであることを考えると、共同トレーニングされたモデルの新しい不確実性の一貫性の損失を提示します。
私たちの一貫性の喪失は、不確実性の推定を大幅に改善し、異分散回帰の下でより高品質の疑似ラベルをより重要に割り当てることができます。
さらに、予測ノイズを削減し、より堅牢な疑似ラベルを生成するための新しい変分モデル アンサンブル アプローチを導入します。
私たちの方法がラベル付けされていないデータに対してより高品質のターゲットを生成し、トレーニングをさらに改善することを分析的に示します。
実験は、私たちの方法がさまざまなタスクで最先端の代替方法よりも優れており、完全なラベルを使用する教師あり方法と競合できることを示しています。
コードは https://github.com/xmed-lab/UCVME で入手できます。

要約(オリジナル)

Deep regression is an important problem with numerous applications. These range from computer vision tasks such as age estimation from photographs, to medical tasks such as ejection fraction estimation from echocardiograms for disease tracking. Semi-supervised approaches for deep regression are notably under-explored compared to classification and segmentation tasks, however. Unlike classification tasks, which rely on thresholding functions for generating class pseudo-labels, regression tasks use real number target predictions directly as pseudo-labels, making them more sensitive to prediction quality. In this work, we propose a novel approach to semi-supervised regression, namely Uncertainty-Consistent Variational Model Ensembling (UCVME), which improves training by generating high-quality pseudo-labels and uncertainty estimates for heteroscedastic regression. Given that aleatoric uncertainty is only dependent on input data by definition and should be equal for the same inputs, we present a novel uncertainty consistency loss for co-trained models. Our consistency loss significantly improves uncertainty estimates and allows higher quality pseudo-labels to be assigned greater importance under heteroscedastic regression. Furthermore, we introduce a novel variational model ensembling approach to reduce prediction noise and generate more robust pseudo-labels. We analytically show our method generates higher quality targets for unlabeled data and further improves training. Experiments show that our method outperforms state-of-the-art alternatives on different tasks and can be competitive with supervised methods that use full labels. Our code is available at https://github.com/xmed-lab/UCVME.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google