Provable Accuracy Bounds for Hybrid Dynamical Optimization and Sampling

要約

アナログダイナミカルアクセラレータ（DXS）は、コンピューターアーキテクチャの研究におけるサブフィールドの成長であり、いくつかの機械学習、最適化、サンプリングタスクにおいて、従来のデジタルメソッドよりも電力効率と遅延の順序の増加を提供します。
ただし、限られた容量の加速器には、一般的な世界の問題を解決するためにハイブリッドアナログ/デジタルアルゴリズムが必要であり、一般的に大規模なローカル検索（LNLS）フレームワークを使用しています。
完全なデジタルアルゴリズムとは異なり、ハイブリッドLNLSには非症状の収束保証はなく、特にクロスデバイストレーニングと推論を制限する原則的なハイパーパラメーター選択スキームはありません。
この作業では、Langevin拡散（BLD）アルゴリズムをブロックするために還元することにより、ハイブリッドLNLSの非症状の収束保証を提供します。
古典的なサンプリング理論からツールを適応させると、理想的なDXSを使用したランダム化および環状ブロック選択戦略の指数関数的なKL-divergence収束を証明します。
有限のデバイスの変動により、ステップ持続時間、ノイズ強度、および関数パラメーターの観点から、2ワセルスタインバイアスの明示的な境界を提供します。
BLDモデルは、確立された理論と新規のコンピューティングプラットフォームの間の重要なリンクを提供し、理論的な結果は、デバイスの変化、アルゴリズムハイパーパラメーター、およびパフォーマンスをリンクする閉形式式を提供します。

要約(オリジナル)

Analog dynamical accelerators (DXs) are a growing sub-field in computer architecture research, offering order-of-magnitude gains in power efficiency and latency over traditional digital methods in several machine learning, optimization, and sampling tasks. However, limited-capacity accelerators require hybrid analog/digital algorithms to solve real-world problems, commonly using large-neighborhood local search (LNLS) frameworks. Unlike fully digital algorithms, hybrid LNLS has no non-asymptotic convergence guarantees and no principled hyperparameter selection schemes, particularly limiting cross-device training and inference. In this work, we provide non-asymptotic convergence guarantees for hybrid LNLS by reducing to block Langevin Diffusion (BLD) algorithms. Adapting tools from classical sampling theory, we prove exponential KL-divergence convergence for randomized and cyclic block selection strategies using ideal DXs. With finite device variation, we provide explicit bounds on the 2-Wasserstein bias in terms of step duration, noise strength, and function parameters. Our BLD model provides a key link between established theory and novel computing platforms, and our theoretical results provide a closed-form expression linking device variation, algorithm hyperparameters, and performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google