Alleviating Overfitting in Transformation-Interaction-Rational Symbolic Regression with Multi-Objective Optimization

要約

変換-相互作用-有理は、関数の探索空間を、変換された変数の線形回帰として定義された2つの非線形関数の比に制限する記号的回帰のための表現である。この表現は、標準的なアプローチの近似力を保ちながら、探索をより単純な表現に偏らせることを主な目的としている。 この表現で遺伝的プログラミングを使用した場合の性能は、その前身（相互作用-変換）を使用した場合よりも大幅に向上し、現代の記号回帰ベンチマークでは最先端技術に近い順位にランクされた。これらの結果を詳しく見ると、データセットが数個のデータポイントしか含んでいない場合、より小さな表現に対する選択圧を追加することで、性能をさらに改善できることがわかった。フィットネス尺度に適用されるペナルティ項を導入することで、これらの小さなデータセットでの結果が改善された。このアプローチの問題点の一つは、2つの追加的なハイパーパラメータを導入していることである。 本論文では、Transformation-Interaction-Rationalを多目的最適化、特にNSGA-IIアルゴリズムをサポートするように拡張し、同じベンチマークに適用する。結果の詳細な分析により、多目的最適化の使用により、ベンチマークのサブセットで全体的な性能が向上する一方、残りのデータセットでは単一目的アプローチと同様の結果が得られることが示された。特に小規模なデータセットでは、わずかな（統計的に重要でない）結果の改善が観察され、さらなる戦略の検討が必要であることが示唆された。

要約(オリジナル)

The Transformation-Interaction-Rational is a representation for symbolic regression that limits the search space of functions to the ratio of two nonlinear functions each one defined as the linear regression of transformed variables. This representation has the main objective to bias the search towards simpler expressions while keeping the approximation power of standard approaches. The performance of using Genetic Programming with this representation was substantially better than with its predecessor (Interaction-Transformation) and ranked close to the state-of-the-art on a contemporary Symbolic Regression benchmark. On a closer look at these results, we observed that the performance could be further improved with an additional selective pressure for smaller expressions when the dataset contains just a few data points. The introduction of a penalization term applied to the fitness measure improved the results on these smaller datasets. One problem with this approach is that it introduces two additional hyperparameters: i) a criteria to when the penalization should be activated and, ii) the amount of penalization to the fitness function. In this paper, we extend Transformation-Interaction-Rational to support multi-objective optimization, specifically the NSGA-II algorithm, and apply that to the same benchmark. A detailed analysis of the results show that the use of multi-objective optimization benefits the overall performance on a subset of the benchmarks while keeping the results similar to the single-objective approach on the remainder of the datasets. Specifically to the small datasets, we observe a small (and statistically insignificant) improvement of the results suggesting that further strategies must be explored.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL