SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training

要約

複雑な自然現象をモデル化するために記号的な数式が不可欠な時代において、科学的探究はしばしば、観測結果を収集し、数式に変換することを伴う。近年、ディープラーニングはデータから洞察を引き出すための強力なツールとして台頭してきた。しかし、既存のモデルは通常、数値領域か記号領域のどちらかに特化しており、特定のタスクに合わせた教師ありの方法で学習されるのが一般的である。このアプローチでは、タスクにとらわれず、記号方程式とその数値的な対応関係を統一的に理解することで得られるであろう大きな利点が無視されている。このギャップを埋めるために、我々はSNIP（Symbolic-Numeric Integrated Pre-training）を導入する。SNIPは、事前に学習された埋め込みにおいて、記号と数値のドメイン間の相互の類似性を強化し、対比学習を採用する。潜在空間分析を行うことで、SNIPが、記号的な監視が数値データの埋め込みを強化し、その逆もまた同様であることを明らかにし、表現に対する領域横断的な洞察を提供することを観察する。我々は、記号から数値への数学的性質の予測や、一般に記号回帰として知られる数値から記号への方程式の発見を含む、多様なタスクにおいてSNIPを評価する。その結果、SNIPは様々なタスクに効果的に適用され、完全教師ありのベースラインを常に上回り、特に利用可能なデータが限られている数ショット学習シナリオにおいて、確立されたタスク固有の手法と強力に競合することが示された。

要約(オリジナル)

In an era where symbolic mathematical equations are indispensable for modeling complex natural phenomena, scientific inquiry often involves collecting observations and translating them into mathematical expressions. Recently, deep learning has emerged as a powerful tool for extracting insights from data. However, existing models typically specialize in either numeric or symbolic domains, and are usually trained in a supervised manner tailored to specific tasks. This approach neglects the substantial benefits that could arise from a task-agnostic unified understanding between symbolic equations and their numeric counterparts. To bridge the gap, we introduce SNIP, a Symbolic-Numeric Integrated Pre-training, which employs joint contrastive learning between symbolic and numeric domains, enhancing their mutual similarities in the pre-trained embeddings. By performing latent space analysis, we observe that SNIP provides cross-domain insights into the representations, revealing that symbolic supervision enhances the embeddings of numeric data and vice versa. We evaluate SNIP across diverse tasks, including symbolic-to-numeric mathematical property prediction and numeric-to-symbolic equation discovery, commonly known as symbolic regression. Results show that SNIP effectively transfers to various tasks, consistently outperforming fully supervised baselines and competing strongly with established task-specific methods, especially in few-shot learning scenarios where available data is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL