Similarity-Distance-Magnitude Universal Verification

要約

類似性（つまり、トレーニングに深さマッチを正しく予測する）を追加することにより、ニューラルネットワークの堅牢性の問題を解決します。
結果のSDM活性化関数は、相対認識（還元可能な）予測不確実性の強い信号を提供します。
この新しい動作を使用して、出力をヒューマン解釈可能な要約統計にマッピングするという補完的なHCIの問題にさらに対処し、保有キャリブレーションセットの関連するパーティションに対処します。
予測条件の不確実性の推定値は、最終層SDM活性化関数の出力のクラス条件付き経験的CDFを介した条例的な学習された変換を介して得られます。
意思決定および本質的なモデルチェックとして、この校正化された出力の高耐電力領域をクラス条件付きの領域固有のCDFにさらに分割することにより、クラス条件の精度の推定値が得られます。
SDMのキャリブレーションからの不確実性の推定値は、テスト時間分布のシフトおよび分散除外入力に対して非常に堅牢です。
効果的なサンプルサイズの認識を組み込みます。
学習およびデータ分割プロセスからの不確実性の推定値を提供します。
選択的な分類と、選択的なLLMの生成、ルーティング、および複数のモデルおよび検索にわたる構成に基づいて、予測的な不確実性に基づく追加のテスト時間計算に適しています。
最後に、SDMネットワーク、LLMSを、本質的な特性としての不確実性の検証と解釈可能性を備えたLLMを構築します。
これらの結果を実装するオープンソースソフトウェアを提供します。

要約(オリジナル)

We solve the neural network robustness problem by adding Similarity (i.e., correctly predicted depth-matches into training)-awareness and Distance-to-training-distribution-awareness to the existing output Magnitude (i.e., decision-boundary)-awareness of the softmax function. The resulting sdm activation function provides strong signals of the relative epistemic (reducible) predictive uncertainty. We use this novel behavior to further address the complementary HCI problem of mapping the output to human-interpretable summary statistics over relevant partitions of a held-out calibration set. Estimates of prediction-conditional uncertainty are obtained via a parsimonious learned transform over the class-conditional empirical CDFs of the output of a final-layer sdm activation function. For decision-making and as an intrinsic model check, estimates of class-conditional accuracy are obtained by further partitioning the high-probability regions of this calibrated output into class-conditional, region-specific CDFs. The uncertainty estimates from sdm calibration are remarkably robust to test-time distribution shifts and out-of-distribution inputs; incorporate awareness of the effective sample size; provide estimates of uncertainty from the learning and data splitting processes; and are well-suited for selective classification and conditional branching for additional test-time compute based on the predictive uncertainty, as for selective LLM generation, routing, and composition over multiple models and retrieval. Finally, we construct sdm networks, LLMs with uncertainty-aware verification and interpretability-by-exemplar as intrinsic properties. We provide open-source software implementing these results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google