Deconstructing equivariant representations in molecular systems

要約

最近の等変モデルは、化学的特性の予測だけでなく、分子や材料の動的シミュレーションの代用としても大きな進歩を示しています。
このカテゴリで最高のパフォーマンスを発揮するモデルの多くは、相互作用と変換を対称選択ルールで許可されるものに制限することで等分散性を維持するテンソル積のフレームワーク内で構築されています。
モデリング プロセスの中核部分であるにもかかわらず、これらの等変表現にどのような情報が保持されているか、およびベンチマーク メトリクス以外の一般的な動作を理解することにはまだあまり注目されていません。
この研究では、QM9 データセット上の単純な等変グラフ畳み込みモデルを使用した一連の実験について報告し、定量的パフォーマンスと結果として得られる分子グラフ埋め込みの相関関係に焦点を当てます。
私たちの重要な発見は、スカラー予測タスクの場合、既約表現の多く、特にベクトル ($l=1$) とテンソル量 ($l=2$) に関連する表現がトレーニング中に単に無視されることが問題であるということです。
それは必ずしもテスト指標で明らかになるわけではありません。
球面調和関数の未使用の次数をいくつか削除すると、潜在空間構造の改善と相関して、モデルのパフォーマンスが向上することが経験的に示されています。
これらの観察に基づいて、同等の特徴の効率と利用を改善するために、将来の実験のために多くの推奨事項を提供します。

要約(オリジナル)

Recent equivariant models have shown significant progress in not just chemical property prediction, but as surrogates for dynamical simulations of molecules and materials. Many of the top performing models in this category are built within the framework of tensor products, which preserves equivariance by restricting interactions and transformations to those that are allowed by symmetry selection rules. Despite being a core part of the modeling process, there has not yet been much attention into understanding what information persists in these equivariant representations, and their general behavior outside of benchmark metrics. In this work, we report on a set of experiments using a simple equivariant graph convolution model on the QM9 dataset, focusing on correlating quantitative performance with the resulting molecular graph embeddings. Our key finding is that, for a scalar prediction task, many of the irreducible representations are simply ignored during training — specifically those pertaining to vector ($l=1$) and tensor quantities ($l=2$) — an issue that does not necessarily make itself evident in the test metric. We empirically show that removing some unused orders of spherical harmonics improves model performance, correlating with improved latent space structure. We provide a number of recommendations for future experiments to try and improve efficiency and utilization of equivariant features based on these observations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google