Simplex Clustering via sBeta with Applications to Online Adjustment of Black-Box Predictions

要約

私たちはディープ ニューラル ネットワークのソフトマックス予測のクラスタリングを検討し、k-sBetas と呼ばれる新しい確率的クラスタリング手法を導入します。
離散分布のクラスタリングという一般的なコンテキストにおいて、既存の方法は、標準ユークリッド距離の代替として、KL 発散などの単体データに合わせた歪み測定を探索することに重点を置いていました。
既存の歪みベースの手法の基礎となる統計モデルが十分に説明的ではない可能性があることを強調しながら、クラスタリング分布の一般最大事後的 (MAP) の観点を提供します。
代わりに、導入された sBeta 密度関数に対する各クラスター内のデータの適合性を測定する混合変数の目的を最適化します。この密度関数のパラメーターは制約され、バイナリ割り当て変数とともに推定されます。
当社の多用途な定式化は、シンプレックス データをモデル化するためのさまざまなパラメトリック密度を近似し、クラスター バランス バイアスの制御を可能にします。
これにより、さまざまなシナリオにおけるブラックボックス モデル予測の教師なし調整において、非常に競争力のあるパフォーマンスが得られます。
私たちのコードと、既存のシンプレックス クラスタリング アプローチとの比較、および導入されたソフトマックス予測ベンチマークは、https://github.com/fchiaroni/Clustering_Softmax_Predictions から公開されています。

要約(オリジナル)

We explore clustering the softmax predictions of deep neural networks and introduce a novel probabilistic clustering method, referred to as k-sBetas. In the general context of clustering discrete distributions, the existing methods focused on exploring distortion measures tailored to simplex data, such as the KL divergence, as alternatives to the standard Euclidean distance. We provide a general maximum a posteriori (MAP) perspective of clustering distributions, emphasizing that the statistical models underlying the existing distortion-based methods may not be descriptive enough. Instead, we optimize a mixed-variable objective measuring data conformity within each cluster to the introduced sBeta density function, whose parameters are constrained and estimated jointly with binary assignment variables. Our versatile formulation approximates various parametric densities for modeling simplex data and enables the control of the cluster-balance bias. This yields highly competitive performances for the unsupervised adjustment of black-box model predictions in various scenarios. Our code and comparisons with the existing simplex-clustering approaches and our introduced softmax-prediction benchmarks are publicly available: https://github.com/fchiaroni/Clustering_Softmax_Predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google