Nesterov Acceleration for Ensemble Kalman Inversion and Variants

要約

アンサンブルKalman Inversion（EKI）は、逆の問題を解決するための派生粒子ベースの最適化方法です。
EKIが勾配流に近似することを示すことができます。これにより、勾配降下を加速する方法を適用できます。
ここでは、Nesterov加速が、さまざまな逆問題に対するEKIコスト関数の削減を加速するのに効果的であることを示しています。
また、2つのEkiバリアント、無濃縮カルマンの反転、およびアンサンブル変換カルマン反転のネステロフ加速度も実装しています。
当社の具体的な実装は、粒子レベルのナッジの形をとります。これは、既存のEKIバリアントアルゴリズムとブラックボックスの方法で結合するのが明らかに簡単に簡単になり、追加の計算費用がなく、追加のチューニングハイパーパラメーターがありません。
この研究は、勾配ベースの最適化の進歩をグラデーションのないカルマンの最適化の進歩に変換するための将来の研究のための経路を示しています。

要約(オリジナル)

Ensemble Kalman inversion (EKI) is a derivative-free, particle-based optimization method for solving inverse problems. It can be shown that EKI approximates a gradient flow, which allows the application of methods for accelerating gradient descent. Here, we show that Nesterov acceleration is effective in speeding up the reduction of the EKI cost function on a variety of inverse problems. We also implement Nesterov acceleration for two EKI variants, unscented Kalman inversion and ensemble transform Kalman inversion. Our specific implementation takes the form of a particle-level nudge that is demonstrably simple to couple in a black-box fashion with any existing EKI variant algorithms, comes with no additional computational expense, and with no additional tuning hyperparameters. This work shows a pathway for future research to translate advances in gradient-based optimization into advances in gradient-free Kalman optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google