Toward Physically Plausible Data-Driven Models: A Novel Neural Network Approach to Symbolic Regression

要約

現実世界のシステムの多くは、人間が理解でき、分析が容易で、システムの動作の説明に役立つ数学モデルによって記述できます。
シンボリック回帰は、このようなモデルをデータから自動的に生成できる手法です。
歴史的に、シンボリック回帰は主に遺伝的プログラミングによって実現されてきました。これは、候補解の集団を進化させ、その後、遺伝的オペレーターのクロスオーバーや突然変異によって変更される方法です。
ただし、このアプローチにはいくつかの欠点があります。トレーニング データ内の変数とサンプルの数に応じて適切に調整できません。適切な精度が得られないとモデルのサイズと複雑さが増大する傾向があり、モデルを微調整するのが困難です。
遺伝的演算子のみを使用した係数。
最近、ニューラル ネットワークは、勾配ベースの最適化アルゴリズムを使用して、解析モデル全体、つまりその構造と係数を学習するために適用されています。
この論文では、非常に小さなトレーニング データ セットやシステムに関する事前知識に基づいて物理的に妥当なモデルを構築する、新しいニューラル ネットワーク ベースのシンボリック回帰手法を提案します。
この方法では、複数の損失関数項を効果的に処理するための適応重み付けスキームと、不十分な局所最適化に陥る可能性を減らすためのエポックごとの学習プロセスを採用しています。
さらに、学習プロセス全体を通じて生成されたすべてのモデルの中から最良の内挿および外挿パフォーマンスを持つモデルを選択するためのパラメーターフリーの方法を提案します。
私たちは、TurtleBot 2 モバイル ロボット、磁気操作システム、並列 2 つの抵抗器の等価抵抗、アンチロック ブレーキ システムの縦力という 4 つのテスト システムでこのアプローチを実験的に評価します。
この結果は、提供された事前知識に準拠した節約モデルを見つける方法の可能性を明確に示しています。

要約(オリジナル)

Many real-world systems can be described by mathematical models that are human-comprehensible, easy to analyze and help explain the system’s behavior. Symbolic regression is a method that can automatically generate such models from data. Historically, symbolic regression has been predominantly realized by genetic programming, a method that evolves populations of candidate solutions that are subsequently modified by genetic operators crossover and mutation. However, this approach suffers from several deficiencies: it does not scale well with the number of variables and samples in the training data – models tend to grow in size and complexity without an adequate accuracy gain, and it is hard to fine-tune the model coefficients using just genetic operators. Recently, neural networks have been applied to learn the whole analytic model, i.e., its structure and the coefficients, using gradient-based optimization algorithms. This paper proposes a novel neural network-based symbolic regression method that constructs physically plausible models based on even very small training data sets and prior knowledge about the system. The method employs an adaptive weighting scheme to effectively deal with multiple loss function terms and an epoch-wise learning process to reduce the chance of getting stuck in poor local optima. Furthermore, we propose a parameter-free method for choosing the model with the best interpolation and extrapolation performance out of all the models generated throughout the whole learning process. We experimentally evaluate the approach on four test systems: the TurtleBot 2 mobile robot, the magnetic manipulation system, the equivalent resistance of two resistors in parallel, and the longitudinal force of the anti-lock braking system. The results clearly show the potential of the method to find parsimonious models that comply with the prior knowledge provided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google