Time-dependent density estimation using binary classifiers

要約

初期確率密度がわかっており、評価できると仮定して、サンプルパスからの多変量確率プロセスの時間依存性確率密度を学習するためのデータ駆動型の方法を提案します。
私たちの方法では、分類器を訓練するために、2つの近くの時間のインスタントでの確率的プロセスの実現を区別するために訓練する対照的な推定ベースの目的を使用して訓練された新しい時間依存性バイナリ分類器を使用します。
重要なことに、提案された方法は、時間依存性確率分布を明示的にモデル化します。つまり、目的の時間帯の中で確率密度の値を取得することが可能です。
さらに、時間依存分類器の最終的なアクティベーションの前の入力は、密度の対数の時間に関して、部分微分の2次近似です。
提案されたアプローチを適用して、確率的励起によって駆動されるシステムの時間依存性確率密度関数を近似します。
また、提案されたアプローチを使用して、特定の実現セットからランダムベクトルの新しいサンプルを合成します。
このようなアプリケーションでは、確率的散布剤を使用したトレーニングに必要なサンプルパスを生成します。
その後、自動分化は必要な勾配を効率的に提供できるため、勾配ベースのマルコフチェーンモンテカルロ法を使用して新しいサンプルが生成されます。
さらに、監視されていない外れ値検出のアプリケーションを介した時間依存性確率密度関数の明示的な近似の有用性を示します。
いくつかの数値実験を通じて、提案された方法が複雑な時間依存性、マルチモーダル、およびほぼ劣化密度を正確に再構築し、中程度に高次元の問題に効果的にスケールを正確に再構築し、実際のデータ間のまれなイベントを確実に検出することを示します。

要約(オリジナル)

We propose a data-driven method to learn the time-dependent probability density of a multivariate stochastic process from sample paths, assuming that the initial probability density is known and can be evaluated. Our method uses a novel time-dependent binary classifier trained using a contrastive estimation-based objective that trains the classifier to discriminate between realizations of the stochastic process at two nearby time instants. Significantly, the proposed method explicitly models the time-dependent probability distribution, which means that it is possible to obtain the value of the probability density within the time horizon of interest. Additionally, the input before the final activation in the time-dependent classifier is a second-order approximation to the partial derivative, with respect to time, of the logarithm of the density. We apply the proposed approach to approximate the time-dependent probability density functions for systems driven by stochastic excitations. We also use the proposed approach to synthesize new samples of a random vector from a given set of its realizations. In such applications, we generate sample paths necessary for training using stochastic interpolants. Subsequently, new samples are generated using gradient-based Markov chain Monte Carlo methods because automatic differentiation can efficiently provide the necessary gradient. Further, we demonstrate the utility of an explicit approximation to the time-dependent probability density function through applications in unsupervised outlier detection. Through several numerical experiments, we show that the proposed method accurately reconstructs complex time-dependent, multi-modal, and near-degenerate densities, scales effectively to moderately high-dimensional problems, and reliably detects rare events among real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google