Simplex Clustering via sBeta with Applications to Online Adjustment of Black-Box Predictions

要約

ディープ ニューラル ネットワークのソフトマックス予測のクラスタリングを調査し、k-sBetas と呼ばれる新しい確率的クラスタリング手法を導入します。
クラスタリング分布の一般的なコンテキストでは、既存の方法は、標準のユークリッド距離の代替として、KL ダイバージェンスなどのシンプレックス データに合わせた歪み測定の調査に焦点を当てていました。
クラスタリング分布の一般的な観点を提供します。これは、歪みベースの方法の基礎となる統計モデルが十分に説明的でない可能性があることを強調しています。
代わりに、導入された sBeta 密度関数に対する各クラスター内のデータの適合性を測定する混合変数目的を最適化します。この関数のパラメーターは制約され、バイナリ割り当て変数と一緒に推定されます。
私たちの汎用性の高い定式化は、クラスター データをモデル化するためのさまざまなパラメトリック密度を近似し、クラスター バランス バイアスを制御することを可能にします。
これにより、ワンショット分類や道路セグメンテーションのためのリアルタイムでの教師なしドメイン適応など、さまざまなシナリオでブラック ボックス予測の効率的な教師なし調整のための非常に競争力のあるパフォーマンスが得られます。
実装は https://github.com/fchiaroni/Clustering_Softmax_Predictions で入手できます。

要約(オリジナル)

We explore clustering the softmax predictions of deep neural networks and introduce a novel probabilistic clustering method, referred to as k-sBetas. In the general context of clustering distributions, the existing methods focused on exploring distortion measures tailored to simplex data, such as the KL divergence, as alternatives to the standard Euclidean distance. We provide a general perspective of clustering distributions, which emphasizes that the statistical models underlying distortion-based methods may not be descriptive enough. Instead, we optimize a mixed-variable objective measuring the conformity of data within each cluster to the introduced sBeta density function, whose parameters are constrained and estimated jointly with binary assignment variables. Our versatile formulation approximates a variety of parametric densities for modeling cluster data, and enables to control the cluster-balance bias. This yields highly competitive performances for efficient unsupervised adjustment of black-box predictions in a variety of scenarios, including one-shot classification and unsupervised domain adaptation in real-time for road segmentation. Implementation is available at https://github.com/fchiaroni/Clustering_Softmax_Predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google