TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression

要約

深い不均一分散回帰には、負の対数尤度を使用して予測分布の平均と共分散を共同最適化することが含まれます。
ただし、最近の研究では、共分散推定に関連する課題により、最適ではない収束が生じる可能性があることが示されています。
文献では、予測された共分散の影響を軽減するための代替定式化を提案することでこの問題に対処していますが、私たちは予測された共分散自体を改善することに焦点を当てています。
(1) 予測された共分散は予測平均のランダム性を本当に捉えていますか?
(2) 監視がない場合、共分散推定の精度をどのように定量化できますか?
テイラー誘導共分散 (TIC) を使用して (1) に対処します。これは、2 次テイラー多項式を介して勾配と曲率を組み込むことによって、予測平均のランダム性を捕捉します。
さらに、相関の概念と絶対誤差を組み合わせて共分散を評価する Task Agnostic Correlations (TAC) メトリクスを導入することで (2) に取り組みます。
私たちは、合成データセットと現実世界のデータセットにわたる複数の実験にわたって TIC-TAC を評価します。
私たちの結果は、TIC が共分散を正確に学習するだけでなく、負の対数尤度の収束の改善も促進することを示しています。
コードは https://github.com/vita-epfl/TIC-TAC で入手できます。

要約(オリジナル)

Deep heteroscedastic regression involves jointly optimizing the mean and covariance of the predicted distribution using the negative log-likelihood. However, recent works show that this may result in sub-optimal convergence due to the challenges associated with covariance estimation. While the literature addresses this by proposing alternate formulations to mitigate the impact of the predicted covariance, we focus on improving the predicted covariance itself. We study two questions: (1) Does the predicted covariance truly capture the randomness of the predicted mean? (2) In the absence of supervision, how can we quantify the accuracy of covariance estimation? We address (1) with a Taylor Induced Covariance (TIC), which captures the randomness of the predicted mean by incorporating its gradient and curvature through the second order Taylor polynomial. Furthermore, we tackle (2) by introducing a Task Agnostic Correlations (TAC) metric, which combines the notion of correlations and absolute error to evaluate the covariance. We evaluate TIC-TAC across multiple experiments spanning synthetic and real-world datasets. Our results show that not only does TIC accurately learn the covariance, it additionally facilitates an improved convergence of the negative log-likelihood. Our code is available at https://github.com/vita-epfl/TIC-TAC

arxiv情報

提供元, 利用サービス

arxiv.jp, Google