Relaxed Equivariance via Multitask Learning

要約

等分散性を帰納的バイアスとして深層学習アーキテクチャに組み込んでデータの対称性を利用することは、化学や力学システムなどの複数のアプリケーションで成功しています。
特に、ロトトランスレーションは幾何学的なグラフや分子を効果的にモデリングするために重要であり、3D 構造を理解することで一般化が強化されます。
ただし、等変モデルは計算の複雑さが高いため、多くの場合に課題を引き起こします。
この論文では、マルチタスク学習で等分散性を近似するための学習手順である REMUL を紹介します。
制約のないモデル (アーキテクチャに等分散を組み込んでいない) は、追加の単純な等分散損失を最小限に抑えることで、近似的な対称性を学習できることを示します。
等分散を新しい学習目標として定式化することで、モデル内の近似等分散のレベルを制御できます。
私たちの手法は、等変ベースラインと比較して競合するパフォーマンスを達成しながら、推論では $10 \times$、トレーニングでは $2.5 \times$ 高速になります。

要約(オリジナル)

Incorporating equivariance as an inductive bias into deep learning architectures to take advantage of the data symmetry has been successful in multiple applications, such as chemistry and dynamical systems. In particular, roto-translations are crucial for effectively modeling geometric graphs and molecules, where understanding the 3D structures enhances generalization. However, equivariant models often pose challenges due to their high computational complexity. In this paper, we introduce REMUL, a training procedure for approximating equivariance with multitask learning. We show that unconstrained models (which do not build equivariance into the architecture) can learn approximate symmetries by minimizing an additional simple equivariance loss. By formulating equivariance as a new learning objective, we can control the level of approximate equivariance in the model. Our method achieves competitive performance compared to equivariant baselines while being $10 \times$ faster at inference and $2.5 \times$ at training.

arxiv情報

著者 Ahmed A. Elhag,T. Konstantin Rusch,Francesco Di Giovanni,Michael Bronstein
発行日 2025-01-24 16:19:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG パーマリンク