Faster Sampling from Log-Concave Densities over Polytopes via Efficient Linear Solvers

要約

多面体 $K:=\{\theta \in \mathbb{R に制約された対数凹分布 $\pi(\theta) \propto e^{-f(\theta)}$ からのサンプリングの問題を考えます
}^d: A\theta \leq b\}$、ここで $A\in \mathbb{R}^{m\times d}$ と $b \in \mathbb{R}^m$。既知の最速のもの
$f$ が $O(1)$-Lipschitz または $O(1)$-smooth の場合の設定のアルゴリズム \cite{mangoubi2022faster} は、およそ $O(md \times md^{\omega -1})$ で実行されます
算術演算。 $md^{\omega -1}$ 項は、各マルコフ連鎖ステップで行列の逆行列と行列式の計算が必要なため発生します (ここで $\omega \およそ 2.37$ は行列の乗算定数です)。
マルコフ連鎖のステップ数は同じままで、$A$ の非ゼロエントリの数とほぼ同じステップごとの複雑さを備えた、このマルコフ連鎖のほぼ最適な実装を示します。
重要な技術的要素は、1) このディキン ウォークで生じる行列がゆっくりと変化することを示すこと、2) この遅い変化を利用して、前のステップで計算された情報を使用して行列の反転を高速化できる効率的な線形ソルバーを展開すること、および 3) です。
ランダム化されたテイラー級数ベースの推定器を介して、メトロポリス フィルター ステップの決定項の計算を高速化します。

要約(オリジナル)

We consider the problem of sampling from a log-concave distribution $\pi(\theta) \propto e^{-f(\theta)}$ constrained to a polytope $K:=\{\theta \in \mathbb{R}^d: A\theta \leq b\}$, where $A\in \mathbb{R}^{m\times d}$ and $b \in \mathbb{R}^m$.The fastest-known algorithm \cite{mangoubi2022faster} for the setting when $f$ is $O(1)$-Lipschitz or $O(1)$-smooth runs in roughly $O(md \times md^{\omega -1})$ arithmetic operations, where the $md^{\omega -1}$ term arises because each Markov chain step requires computing a matrix inversion and determinant (here $\omega \approx 2.37$ is the matrix multiplication constant). We present a nearly-optimal implementation of this Markov chain with per-step complexity which is roughly the number of non-zero entries of $A$ while the number of Markov chain steps remains the same. The key technical ingredients are 1) to show that the matrices that arise in this Dikin walk change slowly, 2) to deploy efficient linear solvers that can leverage this slow change to speed up matrix inversion by using information computed in previous steps, and 3) to speed up the computation of the determinantal term in the Metropolis filter step via a randomized Taylor series-based estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google