A Heavy-Tailed Algebra for Probabilistic Programming

要約

ニューラル ネットワークを通過するノイズに基づく確率モデルは成功していますが、最近の研究では、基本分布の裾が適切に校正されていない限り、そのような方法では裾の挙動を正確に捕捉できないことが多いことが判明しました。
この欠点を克服するために、確率変数の末尾を分析する体系的なアプローチを提案し、このアプローチが確率的プログラミング言語コンパイラーの静的分析 (サンプルを描画する前) パス中にどのように使用できるかを示します。
さまざまな操作の下でテールがどのように変化するかを特徴付けるために、テール漸近線の 3 パラメーター族に作用し、一般化されたガンマ分布に基づく代数を開発します。
私たちの代数演算は加算と乗算の下で閉じられています。
異なるスケールのサブガウスを区別することができます。
また、比率を十分にうまく処理できるため、最も重要な統計分布の裾をその定義から直接再現できます。
私たちの経験的結果は、ヘビーテール代数を利用する推論アルゴリズムが、多くの密度モデリングおよび変分推論タスクにわたって優れたパフォーマンスを達成することを確認しています。

要約(オリジナル)

Despite the successes of probabilistic models based on passing noise through neural networks, recent work has identified that such methods often fail to capture tail behavior accurately, unless the tails of the base distribution are appropriately calibrated. To overcome this deficiency, we propose a systematic approach for analyzing the tails of random variables, and we illustrate how this approach can be used during the static analysis (before drawing samples) pass of a probabilistic programming language compiler. To characterize how the tails change under various operations, we develop an algebra which acts on a three-parameter family of tail asymptotics and which is based on the generalized Gamma distribution. Our algebraic operations are closed under addition and multiplication; they are capable of distinguishing sub-Gaussians with differing scales; and they handle ratios sufficiently well to reproduce the tails of most important statistical distributions directly from their definitions. Our empirical results confirm that inference algorithms that leverage our heavy-tailed algebra attain superior performance across a number of density modeling and variational inference tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google