Fast proxy centers for Jeffreys centroids: The Jeffreys-Fisher-Rao and the inductive Gauss-Bregman centers

要約

測定空間上の相互に絶対的に連続する確率分布のセットのジェフリーズ重心とも呼ばれる対称カルバック・ライブラー重心は、情報検索、情報融合、画像、ビデオ、およびクラスタリングを含む多くのタスクで役立つことが証明されている中心性の概念を提供します。
音声処理。
ただし、ジェフリーの重心は、広く使用されている 2 つの統計モデルであるカテゴリ分布または正規分布のセットに対して閉じた形式では利用できないため、実際には数値的に近似する必要があります。
この論文では、まず、ジェフリーズ重心のプラグイン置換として、側面カルバック-ライブラー重心のフィッシャー-ラオ中点として定義される新しいジェフリーズ-フィッシャー-ラオ中心を提案します。
この Jeffreys-Fisher-Rao 中心は、ユニパラメータ指数族分布の一般式とカテゴリ分布および正規分布の閉形式式を認め、同平均正規分布の Jeffreys 重心と正確に一致し、実際に次のことが実験的に観察されています。
ジェフリーズ重心に近い。
第二に、与えられた指数関数族の密度のペアに対するガウス算術幾何二重系列平均の原理を一般化する新しいタイプの帰納中心を定義します。
この中心は、ジェフリーズ重心に非常によく近似することが実験的に示されており、ジェフリーズ-フィッシャー-ラオ中心が閉じた形式で利用できない場合に使用することが提案されています。
さらに、このガウス ブレグマン帰納中心は常に収束し、同平均正規分布のセットのジェフリーの重心と一致します。
ジェフリーズ重心の代わりにジェフリーズ-フィッシャー-ラオ中心とガウス-ブレグマン中心の使用を実証した実験について報告します。
最後に、情報幾何学の二重平坦空間のレンズの下でジェフリーの重心のこれらの高速代理中心を再解釈することによって、この研究を締めくくります。

要約(オリジナル)

The symmetric Kullback-Leibler centroid also called the Jeffreys centroid of a set of mutually absolutely continuous probability distributions on a measure space provides a notion of centrality which has proven useful in many tasks including information retrieval, information fusion, and clustering in image, video and sound processing. However, the Jeffreys centroid is not available in closed-form for sets of categorical or normal distributions, two widely used statistical models, and thus need to be approximated numerically in practice. In this paper, we first propose the new Jeffreys-Fisher-Rao center defined as the Fisher-Rao midpoint of the sided Kullback-Leibler centroids as a plug-in replacement of the Jeffreys centroid. This Jeffreys-Fisher-Rao center admits a generic formula for uni-parameter exponential family distributions, and closed-form formula for categorical and normal distributions, matches exactly the Jeffreys centroid for same-mean normal distributions, and is experimentally observed in practice to be close to the Jeffreys centroid. Second, we define a new type of inductive centers generalizing the principle of Gauss arithmetic-geometric double sequence mean for pairs of densities of any given exponential family. This center is shown experimentally to approximate very well the Jeffreys centroid and is suggested to use when the Jeffreys-Fisher-Rao center is not available in closed form. Moreover, this Gauss-Bregman inductive center always converges and matches the Jeffreys centroid for sets of same-mean normal distributions. We report on our experiments demonstrating the use of the Jeffreys-Fisher-Rao and Gauss-Bregman centers instead of the Jeffreys centroid. Finally, we conclude this work by reinterpreting these fast proxy centers of Jeffreys centroids under the lens of dually flat spaces in information geometry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google