Robust probabilistic inference via a constrained transport metric

要約

通常、柔軟なベイジアン モデルは、多くの場合解釈できない多数のパラメーターを含む大規模なパラメトリック モデルの制限を使用して構築されます。
この記事では、Wasserstein メトリックの新しいバリアントに関して、選択した分布のパラメトリック ファミリの近くに集中するように注意深く設計された、指数関数的に傾いた経験的尤度を構築することにより、新しい代替手段を提供します。これは、モデル パラメーターの事前分布と組み合わされます。
堅牢な事後を取得します。
提案されたアプローチは、外れ値が存在する場合のセンタリング分布に関連するパラメーターに対して推論を実行することを目的とした、さまざまなロバストな推論問題に適用されます。
提案されたトランスポート メトリックは、離散最適トランスポート問題に対して Sinkhorn 正則化を利用し、本質的に並列化可能であり、非常に計算が簡単です。
最先端の堅牢なベイジアン推論法と比較した場合、私たちの方法論の優れたパフォーマンスを示しています。
また、適切な漸近フレームワークの下でノンパラメトリックベイジアン定式化とのアプローチの同等性を示し、その柔軟性を証明します。
尤度定式化の中心にある制約付きエントロピー最大化は、ロバストなベイジアン推論を超えてその有用性を見出します。
信頼できる機械学習アプリケーションで図が提供されます。

要約(オリジナル)

Flexible Bayesian models are typically constructed using limits of large parametric models with a multitude of parameters that are often uninterpretable. In this article, we offer a novel alternative by constructing an exponentially tilted empirical likelihood carefully designed to concentrate near a parametric family of distributions of choice with respect to a novel variant of the Wasserstein metric, which is then combined with a prior distribution on model parameters to obtain a robustified posterior. The proposed approach finds applications in a wide variety of robust inference problems, where we intend to perform inference on the parameters associated with the centering distribution in presence of outliers. Our proposed transport metric enjoys great computational simplicity, exploiting the Sinkhorn regularization for discrete optimal transport problems, and being inherently parallelizable. We demonstrate superior performance of our methodology when compared against state-of-the-art robust Bayesian inference methods. We also demonstrate equivalence of our approach with a nonparametric Bayesian formulation under a suitable asymptotic framework, testifying to its flexibility. The constrained entropy maximization that sits at the heart of our likelihood formulation finds its utility beyond robust Bayesian inference; an illustration is provided in a trustworthy machine learning application.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google