Maximum Mean Discrepancy Meets Neural Networks: The Radon-Kolmogorov-Smirnov Test

要約

最大平均不一致 (MMD) は、ある分布 $P$ と別の $Q$ のサンプルの平均差を、データ変換 $f$ のすべての選択肢にわたって最大化することに基づく、一般的なクラスのノンパラメトリック 2 サンプル検定を指します。
関数空間 $\mathcal{F}$ 。
$\textit{ラドン有界変動}$ (RBV) の関数とニューラル ネットワークを接続する最近の研究 (Parhi and Nowak、2021、2023) に触発されて、$\mathcal{F} を使用して定義される MMD を研究します。
$ は、指定された滑らかさ次数 $k \geq 0$ の RBV 空間内の単位ボールになります。
$\textit{ラドン-コルモゴロフ-スミルノフ}$ (RKS) テストと呼ばれるこのテストは、よく知られた古典的なコルモゴロフ-スミルノフ (KS) テストを多次元以上に一般化したものとみなすことができます。
滑らかさの順序。
また、ニューラル ネットワークとも密接に関係しています。RKS テストの証人 (最大平均差を達成する関数 $f$ ) は常に次数 $k$ のリッジ スプライン、つまり 1 つのニューロン内の単一ニューロンであることを証明します。
ニューラルネットワーク。
これにより、最新の深層学習ツールキットの力を活用して、RKS テストの基礎となる基準を（ほぼ）最適化することができます。
私たちは、RKS テストが分布の任意の異なるペア $P \not= Q$ を漸近的に完全に区別できることを証明し、その漸近帰無分布を導出し、より伝統的なテストと比較した RKS テストの長所と短所を解明するために広範な実験を実行しました。
カーネルMMDテスト。

要約(オリジナル)

Maximum mean discrepancy (MMD) refers to a general class of nonparametric two-sample tests that are based on maximizing the mean difference over samples from one distribution $P$ versus another $Q$, over all choices of data transformations $f$ living in some function space $\mathcal{F}$. Inspired by recent work that connects what are known as functions of $\textit{Radon bounded variation}$ (RBV) and neural networks (Parhi and Nowak, 2021, 2023), we study the MMD defined by taking $\mathcal{F}$ to be the unit ball in the RBV space of a given smoothness order $k \geq 0$. This test, which we refer to as the $\textit{Radon-Kolmogorov-Smirnov}$ (RKS) test, can be viewed as a generalization of the well-known and classical Kolmogorov-Smirnov (KS) test to multiple dimensions and higher orders of smoothness. It is also intimately connected to neural networks: we prove that the witness in the RKS test — the function $f$ achieving the maximum mean difference — is always a ridge spline of degree $k$, i.e., a single neuron in a neural network. This allows us to leverage the power of modern deep learning toolkits to (approximately) optimize the criterion that underlies the RKS test. We prove that the RKS test has asymptotically full power at distinguishing any distinct pair $P \not= Q$ of distributions, derive its asymptotic null distribution, and carry out extensive experiments to elucidate the strengths and weakenesses of the RKS test versus the more traditional kernel MMD test.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google