Decoupling Quantile Representations from Loss Functions

要約

Title: 損失関数から分位数表現を分離することによる統一分位点回帰の改善

要約：
– 同時分位数回帰 (SQR) 技術は、深層学習モデルの不確実性を推定するために使用されているが、中央値の分位点 ({\tau} = 0.5) での解が平均絶対誤差 (MAE) を最小化する必要があるという制約によってその適用範囲は限られていました。
– 本論文では、同時二値分位数回帰 (SBQR) の場合に分位数と推定確率の双対性を示すことで、分位数表現の構築を損失関数から分離することができ、中央値の分位点で任意の分類器 f(x) を割り当て、様々な{\tau} 値でSBQR分位数表現を生成できるようになりました。
– この手法を2つのアプリケーションで検証しました：(i) 外部データの検出、分位数表現が標準の確率出力を上回ることを示し、(ii) モデルのキャリブレーション、分位数表現の歪みに対する堅牢性を示しました。
– これらの発見から導かれるいくつかの仮説について議論を結びます。

要約(オリジナル)

The simultaneous quantile regression (SQR) technique has been used to estimate uncertainties for deep learning models, but its application is limited by the requirement that the solution at the median quantile ({\tau} = 0.5) must minimize the mean absolute error (MAE). In this article, we address this limitation by demonstrating a duality between quantiles and estimated probabilities in the case of simultaneous binary quantile regression (SBQR). This allows us to decouple the construction of quantile representations from the loss function, enabling us to assign an arbitrary classifier f(x) at the median quantile and generate the full spectrum of SBQR quantile representations at different {\tau} values. We validate our approach through two applications: (i) detecting out-of-distribution samples, where we show that quantile representations outperform standard probability outputs, and (ii) calibrating models, where we demonstrate the robustness of quantile representations to distortions. We conclude with a discussion of several hypotheses arising from these findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI