Sharpness-Aware Minimization in Genetic Programming

要約

Sharpness-Aware Minimization (SAM) は、ディープ ニューラル ネットワークをトレーニングするための正則化手順として最近導入されました。
それは同時に、フィットネス (または損失) 関数といわゆるフィットネスの鋭さを最小限に抑えます。
後者は、解の非線形挙動の尺度として機能し、すべての適応度ケースにわたって均一に類似した損失値を持つ近傍にある解を見つけることによって行われます。
この寄稿では、2 つの単純なアプローチを使用してソリューションのセマンティック近傍を探索することにより、SAM をツリー遺伝的プログラミング (TGP) に適応させます。
プログラム ツリーの入力と出力の摂動を利用することで、シャープネスを推定し、展開中の 2 番目の最適化基準として使用できます。
この SAM 変異体の TGP への影響をより深く理解するために、私たちは汎化能力、複雑性、多様性、樹木の冗長性の量を研究するために最近提案された遺伝子型表現型マッピングなど、進化の過程の多数の指標を収集します。
実験結果は、TGP で提案されている 2 つの SAM 適応のいずれかを使用すると、(i) 母集団内のツリー サイズの大幅な縮小、(ii) ツリーの冗長性の減少が可能になることを示しています。
現実世界のベンチマークで評価した場合、エリート ソリューションの一般化能力は低下しません。

要約(オリジナル)

Sharpness-Aware Minimization (SAM) was recently introduced as a regularization procedure for training deep neural networks. It simultaneously minimizes the fitness (or loss) function and the so-called fitness sharpness. The latter serves as a measure of the nonlinear behavior of a solution and does so by finding solutions that lie in neighborhoods having uniformly similar loss values across all fitness cases. In this contribution, we adapt SAM for tree Genetic Programming (TGP) by exploring the semantic neighborhoods of solutions using two simple approaches. By capitalizing upon perturbing input and output of program trees, sharpness can be estimated and used as a second optimization criterion during the evolution. To better understand the impact of this variant of SAM on TGP, we collect numerous indicators of the evolutionary process, including generalization ability, complexity, diversity, and a recently proposed genotype-phenotype mapping to study the amount of redundancy in trees. The experimental results demonstrate that using any of the two proposed SAM adaptations in TGP allows (i) a significant reduction of tree sizes in the population and (ii) a decrease in redundancy of the trees. When assessed on real-world benchmarks, the generalization ability of the elite solutions does not deteriorate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google