Towards Sobolev Pruning

要約

複雑な現象を記述するための確率モデルの使用が増加しているため、高価になる可能性があるモンテカルロ シミュレーションを避け、わずかな計算コストで参照モデルの特性を捕捉する代理モデルが必要になります。
大規模なニューラル ネットワークを適合させてから、それを縮小サイズに枝刈りするという主なアプローチでは、一般に欠点が無視されてきました。
生成された代理モデルは、多くの場合、元のモデルに固有の感度や不確実性を捉えていません。
特に、そのようなサロゲートの（高次の）派生情報は大幅に異なる可能性があります。
十分な規模のネットワークがあれば、この派生情報が一致すると予想されます。
ただし、枝刈りされたモデルはほぼ確実にこの動作を共有しません。
この論文では、学習と枝刈りのプロセス全体を通じて感度情報を使用して、代理モデルを見つけることを提案します。
私たちは枝刈りのために区間随伴有意性分析を使用した作業を構築し、それをソボレフ トレーニングの最近の進歩と組み合わせて、枝刈りされたニューラル ネットワーク ベースのサロゲート モデル内の元の感度情報を正確にモデル化します。
ブラウン運動を伴う確率微分方程式を通じてモデル化された多次元バスケット オプションの価格設定の例で、この方法を実験的に裏付けています。
ただし、提案された方法は、感受性の直感的な解釈のためのケーススタディとして選択された量的金融の領域に限定されません。
これは、機密情報を考慮したさらなる代理モデリング技術を構築するための基盤として機能します。

要約(オリジナル)

The increasing use of stochastic models for describing complex phenomena warrants surrogate models that capture the reference model characteristics at a fraction of the computational cost, foregoing potentially expensive Monte Carlo simulation. The predominant approach of fitting a large neural network and then pruning it to a reduced size has commonly neglected shortcomings. The produced surrogate models often will not capture the sensitivities and uncertainties inherent in the original model. In particular, (higher-order) derivative information of such surrogates could differ drastically. Given a large enough network, we expect this derivative information to match. However, the pruned model will almost certainly not share this behavior. In this paper, we propose to find surrogate models by using sensitivity information throughout the learning and pruning process. We build on work using Interval Adjoint Significance Analysis for pruning and combine it with the recent advancements in Sobolev Training to accurately model the original sensitivity information in the pruned neural network based surrogate model. We experimentally underpin the method on an example of pricing a multidimensional Basket option modelled through a stochastic differential equation with Brownian motion. The proposed method is, however, not limited to the domain of quantitative finance, which was chosen as a case study for intuitive interpretations of the sensitivities. It serves as a foundation for building further surrogate modelling techniques considering sensitivity information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google