TorchSISSO: A PyTorch-Based Implementation of the Sure Independence Screening and Sparsifying Operator for Efficient and Interpretable Model Discovery

要約

シンボリック回帰 (SR) は、代数モデルの構造とパラメーターの両方を検索する強力な機械学習アプローチであり、複雑なデータの解釈可能でコンパクトな表現を提供します。
従来の回帰手法とは異なり、SR は徐々に複雑な特徴空間を探索するため、小さなデータセットからでもよく一般化できる単純なモデルを明らかにできます。
SR アルゴリズムの中でも、Sure Independent Screening and Sparsifying Operator (SISSO) は自然科学において特に効果的であることが証明されており、基本的な物理法則の再発見や、材料特性モデリングのための新しい解釈可能な方程式の発見に役立ちます。
しかし、特に最新のコンピューティング環境では、パフォーマンスの非効率性と、FORTRAN ベースの実装によってもたらされる課題により、その広範な採用は制限されています。
この作業では、PyTorch フレームワークに組み込まれたネイティブ Python 実装である、TorchSISSO を紹介します。
TorchSISSO は、GPU アクセラレーション、簡単な統合、拡張性を活用し、オリジナルと比べて大幅なスピードアップと精度の向上を実現します。
私たちは、TorchSISSO がさまざまなタスクにわたって元の SISSO のパフォーマンスと同等またはそれを超え、計算時間を大幅に短縮し、より広範な科学的アプリケーションへのアクセシビリティを向上させることを実証します。

要約(オリジナル)

Symbolic regression (SR) is a powerful machine learning approach that searches for both the structure and parameters of algebraic models, offering interpretable and compact representations of complex data. Unlike traditional regression methods, SR explores progressively complex feature spaces, which can uncover simple models that generalize well, even from small datasets. Among SR algorithms, the Sure Independence Screening and Sparsifying Operator (SISSO) has proven particularly effective in the natural sciences, helping to rediscover fundamental physical laws as well as discover new interpretable equations for materials property modeling. However, its widespread adoption has been limited by performance inefficiencies and the challenges posed by its FORTRAN-based implementation, especially in modern computing environments. In this work, we introduce TorchSISSO, a native Python implementation built in the PyTorch framework. TorchSISSO leverages GPU acceleration, easy integration, and extensibility, offering a significant speed-up and improved accuracy over the original. We demonstrate that TorchSISSO matches or exceeds the performance of the original SISSO across a range of tasks, while dramatically reducing computational time and improving accessibility for broader scientific applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google