Computing Marginal and Conditional Divergences between Decomposable Models with Applications

要約

2 つの高次元分布間の正確な発散を計算する機能は多くのアプリケーションで役立ちますが、単純に計算するのは困難です。
2 つの分解可能なモデル、つまり弦マルコフ ネットワークの同時分布間のアルファベータ発散 (カルバック ライブラー発散とヘリンジャー距離を含む一連の発散) の計算は、これらのモデルのツリー幅で時間指数関数的に実行できます。
。
ただし、2 つの高次元オブジェクト間の非類似性を単一のスカラー値に換算することは有益ではない可能性があります。
さらに、教師あり学習などのアプリケーションでは、条件付き分布における発散の方が重要になる可能性があります。
したがって、2 つの分解可能なモデルの周辺分布または条件付き分布間の正確なアルファ – ベータ発散を計算するアプローチを提案します。
これらの分布間の乖離を分解する必要があるため、これらのモデルの周辺分布と条件付き分布を分解する必要があるため、これを簡単に行うことは簡単ではありません。
したがって、このような分解を提供し、既存の作業を拡張して、これらの分解間の限界および条件付きアルファ-ベータ発散を計算します。
次に、最初にベンチマーク画像データセットに適用することで、この方法を使用して分布の変化を分析する方法を示します。
最後に、私たちのフレームワークに基づいて、現代の超伝導量子コンピューターの誤差を定量化する新しい方法を提案します。
すべての実験のコードは、https://lklee.dev/pub/2023-icdm/code で入手できます。

要約(オリジナル)

The ability to compute the exact divergence between two high-dimensional distributions is useful in many applications but doing so naively is intractable. Computing the alpha-beta divergence — a family of divergences that includes the Kullback-Leibler divergence and Hellinger distance — between the joint distribution of two decomposable models, i.e chordal Markov networks, can be done in time exponential in the treewidth of these models. However, reducing the dissimilarity between two high-dimensional objects to a single scalar value can be uninformative. Furthermore, in applications such as supervised learning, the divergence over a conditional distribution might be of more interest. Therefore, we propose an approach to compute the exact alpha-beta divergence between any marginal or conditional distribution of two decomposable models. Doing so tractably is non-trivial as we need to decompose the divergence between these distributions and therefore, require a decomposition over the marginal and conditional distributions of these models. Consequently, we provide such a decomposition and also extend existing work to compute the marginal and conditional alpha-beta divergence between these decompositions. We then show how our method can be used to analyze distributional changes by first applying it to a benchmark image dataset. Finally, based on our framework, we propose a novel way to quantify the error in contemporary superconducting quantum computers. Code for all experiments is available at: https://lklee.dev/pub/2023-icdm/code

arxiv情報

提供元, 利用サービス

arxiv.jp, Google