Efficient first-order algorithms for large-scale, non-smooth maximum entropy models with application to wildfire science

要約

最大エントロピー (Maxent) モデルは、最大エントロピー原理を使用してデータから確率分布を推定する統計モデルのクラスです。
最新のデータセットのサイズにより、Maxent モデルはビッグデータ アプリケーションに合わせて適切に拡張するために効率的な最適化アルゴリズムを必要とします。
ただし、Maxent モデルの最先端のアルゴリズムは、もともとビッグ データ セットを処理するように設計されたものではありません。
これらのアルゴリズムは、信頼性の低い数値結果を生成する可能性のある技術的デバイスに依存しているか、拡張性が不十分であるか、多くの実用的な Maxent モデルにはない滑らかさの仮定を必要とします。
この論文では、大規模で滑らかでない Maxent モデルをトレーニングするための最先端のアルゴリズムの欠点を克服する新しい最適化アルゴリズムを紹介します。
私たちが提案する一次アルゴリズムは、カルバック・ライブラー発散を利用して、大規模で滑らかでない Maxent モデルを効率的にトレーニングします。
サンプルから構築された $n$ 要素の離散確率分布を持つ Maxent モデルの場合、それぞれが $m$ 特徴を含み、ステップサイズ パラメーターの推定とアルゴリズムの反復は $O(mn)$ 操作のオーダーでスケールされ、簡単に並列化できます。
さらに、カルバック-ライブラー発散の強力な $\ell_{1}$ 凸性により、より大きなステップサイズ パラメーターが可能になり、それによってアルゴリズムの収束速度が向上します。
私たちの新しいアルゴリズムの効率を説明するために、米国西部 MTBS-Interagency の山火事データ セットの生態学的特徴の関数として火災発生の確率を推定する問題を検討します。
私たちの数値結果は、私たちのアルゴリズムが最先端技術を一桁上回っており、山火事発生の物理モデルや山火事原因に関する以前の統計分析と一致する結果をもたらしていることを示しています。

要約(オリジナル)

Maximum entropy (Maxent) models are a class of statistical models that use the maximum entropy principle to estimate probability distributions from data. Due to the size of modern data sets, Maxent models need efficient optimization algorithms to scale well for big data applications. State-of-the-art algorithms for Maxent models, however, were not originally designed to handle big data sets; these algorithms either rely on technical devices that may yield unreliable numerical results, scale poorly, or require smoothness assumptions that many practical Maxent models lack. In this paper, we present novel optimization algorithms that overcome the shortcomings of state-of-the-art algorithms for training large-scale, non-smooth Maxent models. Our proposed first-order algorithms leverage the Kullback-Leibler divergence to train large-scale and non-smooth Maxent models efficiently. For Maxent models with discrete probability distribution of $n$ elements built from samples, each containing $m$ features, the stepsize parameters estimation and iterations in our algorithms scale on the order of $O(mn)$ operations and can be trivially parallelized. Moreover, the strong $\ell_{1}$ convexity of the Kullback–Leibler divergence allows for larger stepsize parameters, thereby speeding up the convergence rate of our algorithms. To illustrate the efficiency of our novel algorithms, we consider the problem of estimating probabilities of fire occurrences as a function of ecological features in the Western US MTBS-Interagency wildfire data set. Our numerical results show that our algorithms outperform the state of the arts by one order of magnitude and yield results that agree with physical models of wildfire occurrence and previous statistical analyses of wildfire drivers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google