Improved identification accuracy in equation learning via comprehensive $\boldsymbol{R^2}$-elimination and Bayesian model selection

要約

方程式学習の分野では、基底関数辞書から導き出されるすべての可能な方程式を網羅的に検討することは不可能です。
この課題に取り組む一般的なアプローチとして、スパース回帰アルゴリズムと貪欲アルゴリズムが登場しました。
ただし、多重共線性の存在はスパース回帰手法に困難をもたらし、貪欲なステップにより真の方程式の項を誤って除外してしまい、識別精度の低下につながる可能性があります。
この記事では、方程式学習における包括性と効率性のバランスを取るアプローチを紹介します。
段階的回帰にヒントを得た私たちのアプローチは、決定係数 $R^2$ とベイジアン モデルの証拠 $p(\boldsymbol y|\mathcal M)$ を新しい方法で組み合わせています。
私たちの手順は、各反復ステップでモデル空間をわずかに縮小するだけの包括的な検索を特徴としています。
2 種類のアプローチと、双方向段階的回帰に $p(\boldsymbol y|\mathcal M)$ を採用することで、方程式学習に合計 3 つの新しい手段を提供します。
ランダム多項式と力学系を含む 3 つの広範な数値実験を通じて、私たちのアプローチを 4 つの最先端の方法と 2 つの標準的なアプローチと比較します。
この結果は、私たちの包括的な検索アプローチが識別精度の点で他のすべての方法を上回っていることを示しています。
特に、私たちのアプローチの 2 番目の種類では、$R^2$ のみに基づいて効率的な過学習ペナルティを確立し、最高の正確な方程式回復率を達成します。

要約(オリジナル)

In the field of equation learning, exhaustively considering all possible equations derived from a basis function dictionary is infeasible. Sparse regression and greedy algorithms have emerged as popular approaches to tackle this challenge. However, the presence of multicollinearity poses difficulties for sparse regression techniques, and greedy steps may inadvertently exclude terms of the true equation, leading to reduced identification accuracy. In this article, we present an approach that strikes a balance between comprehensiveness and efficiency in equation learning. Inspired by stepwise regression, our approach combines the coefficient of determination, $R^2$, and the Bayesian model evidence, $p(\boldsymbol y|\mathcal M)$, in a novel way. Our procedure is characterized by a comprehensive search with just a minor reduction of the model space at each iteration step. With two flavors of our approach and the adoption of $p(\boldsymbol y|\mathcal M)$ for bi-directional stepwise regression, we present a total of three new avenues for equation learning. Through three extensive numerical experiments involving random polynomials and dynamical systems, we compare our approach against four state-of-the-art methods and two standard approaches. The results demonstrate that our comprehensive search approach surpasses all other methods in terms of identification accuracy. In particular, the second flavor of our approach establishes an efficient overfitting penalty solely based on $R^2$, which achieves highest rates of exact equation recovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google