Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients

要約

データ駆動型の数学的表現の発見の堅牢性と解釈可能性を高めるために、新しい深い象徴的回帰アプローチを提案します。
私たちの作業は、事前に守られたモデルや追加の検索または計画手順に依存することなく、データ固有の表現ジェネレーターの学習に焦点を当てた人気のあるDSRフレームワークと一致しています。
既存のDSRメソッドの成功にもかかわらず、それらは再発性ニューラルネットワークに基づいて構築され、データフィットネスによって導かれ、ポリシー勾配をゼロにする可能性のあるテールバリアを潜在的に満たし、非効率的なモデルの更新を引き起こす可能性があります。
これらの制限を克服するために、周波数ドメインで注意を払うデコーダーのみのアーキテクチャを設計し、レイヤーワイズ生成を実施するためにエンコードするデュアルインデックスの位置を導入します。
第二に、明示的なマニュアルチューニングを必要とせずに、表現の複雑さとデータフィットネスのトレードオフを自動的に調整できるベイジアン情報基準（BIC）ベースの報酬機能を提案します。
第三に、尾の障壁を排除し、トレーニングの有効性を高めるランキングベースの加重ポリシー更新方法を開発します。
広範なベンチマークと体系的な実験は、私たちのアプローチの利点を示しています。

要約(オリジナル)

We propose a novel deep symbolic regression approach to enhance the robustness and interpretability of data-driven mathematical expression discovery. Our work is aligned with the popular DSR framework which focuses on learning a data-specific expression generator, without relying on pretrained models or additional search or planning procedures. Despite the success of existing DSR methods, they are built on recurrent neural networks, solely guided by data fitness, and potentially meet tail barriers that can zero out the policy gradient, causing inefficient model updates. To overcome these limitations, we design a decoder-only architecture that performs attention in the frequency domain and introduce a dual-indexed position encoding to conduct layer-wise generation. Second, we propose a Bayesian information criterion (BIC)-based reward function that can automatically adjust the trade-off between expression complexity and data fitness, without the need for explicit manual tuning. Third, we develop a ranking-based weighted policy update method that eliminates the tail barriers and enhances training effectiveness. Extensive benchmarks and systematic experiments demonstrate the advantages of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google