Variational Imbalanced Regression: Fair Uncertainty Quantification via Probabilistic Smoothing

要約

既存の回帰モデルは、ラベル分布が不均衡な場合、精度と不確実性の推定の両方で不十分になる傾向があります。
この論文では、変分不均衡回帰 (VIR) と呼ばれる確率的深層学習モデルを提案します。このモデルは、不均衡回帰で優れたパフォーマンスを発揮するだけでなく、副産物として合理的な不確実性推定を自然に生成します。
I.I.D.を前提とした一般的な変分オートエンコーダとは異なります。
表現 (データ ポイントの表現は他のデータ ポイントの影響を直接受けません) の場合、VIR は同様の回帰ラベルを持つデータを借用して、潜在表現の変分分布を計算します。
さらに、点推定を生成する決定論的回帰モデルとは異なり、VIR は正規逆ガンマ分布全体を予測し、関連する共役分布を変調して不均衡なデータに確率的な再重み付けを適用することで、より優れた不確実性推定を提供します。
いくつかの実世界のデータセットでの実験では、VIR が精度と不確実性推定の両方の点で最先端の不均衡回帰モデルを上回るパフォーマンスを発揮できることが示されています。
コードは間もなく https://github.com/Wang-ML-Lab/variational-imbalance-regression で利用できるようになります。

要約(オリジナル)

Existing regression models tend to fall short in both accuracy and uncertainty estimation when the label distribution is imbalanced. In this paper, we propose a probabilistic deep learning model, dubbed variational imbalanced regression (VIR), which not only performs well in imbalanced regression but naturally produces reasonable uncertainty estimation as a byproduct. Different from typical variational autoencoders assuming I.I.D. representations (a data point’s representation is not directly affected by other data points), our VIR borrows data with similar regression labels to compute the latent representation’s variational distribution; furthermore, different from deterministic regression models producing point estimates, VIR predicts the entire normal-inverse-gamma distributions and modulates the associated conjugate distributions to impose probabilistic reweighting on the imbalanced data, thereby providing better uncertainty estimation. Experiments in several real-world datasets show that our VIR can outperform state-of-the-art imbalanced regression models in terms of both accuracy and uncertainty estimation. Code will soon be available at https://github.com/Wang-ML-Lab/variational-imbalanced-regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google