Hybrid additive modeling with partial dependence for supervised regression and dynamical systems forecasting

要約

限られた分野の知識を活用して学習プロセスを行うことは、数多くの科学分野にわたって重要なタスクであり、データ駆動型アプローチとモデルベースのアプローチを追加的に組み合わせたハイブリッド トレーニング手法が増えています。
取得されたモデルは純粋にデータ駆動型のモデルよりも正確ですが、最適化プロセスには通常、機密性の高い正則化制約が伴います。
さらに、このようなハイブリッド手法はさまざまな科学的応用でテストされていますが、主に動的システムでテストされており、全体的なパフォーマンスとパラメーターの特定に対する各モデル コンポーネントの影響については限られた研究しか行われていません。
この研究では、複雑な正則化の必要性を排除する、部分依存に基づく新しいハイブリッド トレーニング アプローチを導入します。
さらに、標準的な回帰問題について、従来の機械学習手法と比較したハイブリッド モデリングのパフォーマンスを評価します。
このようなハイブリッド モデルをトレーニングするためのいくつかのアプローチを、合成回帰問題と実際の回帰問題の両方で比較します。
私たちは、パラメトリック項と機械学習項を加法的に組み合わせるハイブリッド手法に焦点を当て、モデルに依存しないトレーニング手順を調査します。
したがって、ツリーベースのモデルや人工ニューラル ネットワークなど、さまざまな種類の機械学習モデルを使用して実験が実行されます。
また、動的システム予測のための部分依存最適化プロセスを拡張し、既存のスキームと比較します。

要約(オリジナル)

Learning processes by exploiting restricted domain knowledge is an important task across a plethora of scientific areas, with more and more hybrid training methods additively combining data-driven and model-based approaches. Although the obtained models are more accurate than purely data-driven models, the optimization process usually comes with sensitive regularization constraints. Furthermore, while such hybrid methods have been tested in various scientific applications, they have been mostly tested on dynamical systems, with only limited study about the influence of each model component on global performance and parameter identification. In this work, we introduce a new hybrid training approach based on partial dependence, which removes the need for intricate regularization. Moreover, we assess the performance of hybrid modeling against traditional machine learning methods on standard regression problems. We compare, on both synthetic and real regression problems, several approaches for training such hybrid models. We focus on hybrid methods that additively combine a parametric term with a machine learning term and investigate model-agnostic training procedures. Therefore, experiments are carried out with different types of machine learning models, including tree-based models and artificial neural networks. We also extend our partial dependence optimization process for dynamical systems forecasting and compare it to existing schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google