MMSR: Symbolic Regression is a Multimodal Task

要約

数式は、何千年にもわたって自然法則を探究してきた人類の知恵の結晶です。
複雑な自然法則を簡潔な数式で説明することは科学者の絶え間ない追求であり、人工知能にとっても大きな課題です。
このフィールドはシンボリック回帰と呼ばれます。
シンボリック回帰はもともと組み合わせ最適化問題として定式化され、それを解くために GP および強化学習アルゴリズムが使用されました。
ただし、GP はハイパーパラメータに敏感であり、これら 2 種類のアルゴリズムは非効率的です。
この問題を解決するために、研究者はデータから式へのマッピングを変換問題として扱います。
そして、対応する大規模な事前訓練済みモデルが導入されます。
ただし、データと式のスケルトンには、2 つの言語のような明確な単語の対応関係はありません。
むしろ、それらは 2 つのモダリティ (画像とテキストなど) に似ています。
そこで本論文ではMMSRを提案した。
SR 問題は純粋なマルチモーダル問題として解決され、後のモーダル特徴融合を容易にするためにモーダル アライメントのトレーニング プロセスに対照学習も導入されています。
モーダル特徴の融合をより効果的に促進するために、最初に対照的な学習損失をトレーニングしてからトレーニングするのではなく、ワンステップのトレーニングだけで済む、対照的な学習損失と他の損失を同時にトレーニングする戦略を採用していることは注目に値します。
その他の損失。
なぜなら、私たちの実験では、一緒にトレーニングすると、特徴抽出モジュールと特徴融合モジュールの慣らし運転がより効果的に行えることが証明されているからです。
実験結果は、複数の大規模な事前トレーニング ベースラインと比較して、MMSR が SRBench を含む複数の主流データセットで最も高度な結果を達成することを示しています。

要約(オリジナル)

Mathematical formulas are the crystallization of human wisdom in exploring the laws of nature for thousands of years. Describing the complex laws of nature with a concise mathematical formula is a constant pursuit of scientists and a great challenge for artificial intelligence. This field is called symbolic regression. Symbolic regression was originally formulated as a combinatorial optimization problem, and GP and reinforcement learning algorithms were used to solve it. However, GP is sensitive to hyperparameters, and these two types of algorithms are inefficient. To solve this problem, researchers treat the mapping from data to expressions as a translation problem. And the corresponding large-scale pre-trained model is introduced. However, the data and expression skeletons do not have very clear word correspondences as the two languages do. Instead, they are more like two modalities (e.g., image and text). Therefore, in this paper, we proposed MMSR. The SR problem is solved as a pure multimodal problem, and contrastive learning is also introduced in the training process for modal alignment to facilitate later modal feature fusion. It is worth noting that in order to better promote the modal feature fusion, we adopt the strategy of training contrastive learning loss and other losses at the same time, which only needs one-step training, instead of training contrastive learning loss first and then training other losses. Because our experiments prove training together can make the feature extraction module and feature fusion module running-in better. Experimental results show that compared with multiple large-scale pre-training baselines, MMSR achieves the most advanced results on multiple mainstream datasets including SRBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google