Multi-Operational Mathematical Derivations in Latent Space

要約

この論文は、式導出のために潜在空間で複数の数学的演算を近似する可能性を調査します。
この目的を達成するために、さまざまなマルチ演算表現パラダイムを導入し、数学的演算を明示的な幾何学的変換としてモデル化します。
シンボリック エンジンを活用することで、61,000 の前提と 6 つの演算子から派生する 170 万の導出ステップで構成される大規模なデータセットを構築し、最先端のニューラル エンコーダーでインスタンス化された際の各パラダイムの特性を分析します。
具体的には、さまざまなエンコード機構が潜在空間における等式推論をどのように近似できるかを調査し、さまざまな演算子の学習と単一演算内での特殊化の間のトレードオフ、および複数ステップの導出と分布外一般化をサポートする機能を調査します。
私たちの経験的分析により、単一の演算の結論を区別することは元の式エンコーダーで達成可能である一方、複数の演算パラダイムがさまざまな演算子のもつれを解くために重要であることが明らかになりました。
さらに、アーキテクチャの選択がトレーニングのダイナミクス、構造的組織化、潜在空間の一般化に大きく影響し、その結果、パラダイムやエンコーダーのクラス全体で大きな変化が生じる可能性があることを示します。

要約(オリジナル)

This paper investigates the possibility of approximating multiple mathematical operations in latent space for expression derivation. To this end, we introduce different multi-operational representation paradigms, modelling mathematical operations as explicit geometric transformations. By leveraging a symbolic engine, we construct a large-scale dataset comprising 1.7M derivation steps stemming from 61K premises and 6 operators, analysing the properties of each paradigm when instantiated with state-of-the-art neural encoders. Specifically, we investigate how different encoding mechanisms can approximate equational reasoning in latent space, exploring the trade-off between learning different operators and specialising within single operations, as well as the ability to support multi-step derivations and out-of-distribution generalisation. Our empirical analysis reveals that the multi-operational paradigm is crucial for disentangling different operators, while discriminating the conclusions for a single operation is achievable in the original expression encoder. Moreover, we show that architectural choices can heavily affect the training dynamics, structural organisation, and generalisation of the latent space, resulting in significant variations across paradigms and classes of encoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google