Integer linear programming for unsupervised training set selection in molecular machine learning

投稿日: 2025年5月2日 作成者: jarxiv

要約

整数線形プログラミング（ILP）は、整数決定変数を使用して自然に説明されている線形最適化問題を解決するためのエレガントなアプローチです。
化学に適用される物理学にインスパイアされた機械学習のコンテキスト内で、サイズ伸展特性を予測するために分子トレーニングセットを選択するためのILP製剤の関連性を示します。
私たちのアルゴリズムは、特にトレーニングセットに存在する分子よりも大きい分子の特性を予測する場合、既存の監視されていないトレーニングセットの選択アプローチを上回ることを示します。
パフォーマンスの向上の理由は、局所的な類似性（つまり、アトムごと）の概念と最適なソリューションを効率的に見つけるユニークなILPアプローチに基づいた選択によるものであると主張します。
全体として、この作業は、物理学にインスパイアされた機械学習モデルのパフォーマンスを改善するための実用的なアルゴリズムを提供し、既存のトレーニングセット選択アプローチとの概念的な違いに関する洞察を提供します。

要約(オリジナル)

Integer linear programming (ILP) is an elegant approach to solve linear optimization problems, naturally described using integer decision variables. Within the context of physics-inspired machine learning applied to chemistry, we demonstrate the relevance of an ILP formulation to select molecular training sets for predictions of size-extensive properties. We show that our algorithm outperforms existing unsupervised training set selection approaches, especially when predicting properties of molecules larger than those present in the training set. We argue that the reason for the improved performance is due to the selection that is based on the notion of local similarity (i.e., per-atom) and a unique ILP approach that finds optimal solutions efficiently. Altogether, this work provides a practical algorithm to improve the performance of physics-inspired machine learning models and offers insights into the conceptual differences with existing training set selection approaches.

arxiv情報

著者 Matthieu Haeberle,Puck van Gerwen,Ruben Laplaza,Ksenia R. Briling,Jan Weinreich,Friedrich Eisenbrand,Clemence Corminboeuf
発行日 2025-05-01 15:07:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.chem-ph | Integer linear programming for unsupervised training set selection in molecular machine learning はコメントを受け付けていません

Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors

投稿日: 2025年5月2日 作成者: jarxiv

要約

基礎モデルは、さまざまなドメインで大きな成功を収めています。
ただし、彼らの膨大な計算とストレージの複雑さにより、これらのモデルは微調整を困難にし、実際にも適用できません。
最近の研究では、フーリエドメインでのトレーニングは、モデルのパフォーマンスとトレーニングパラメーターの数の両方の点で効果的な微調整方法になる可能性があることが示されています。
この作業では、インターリーブ循環液と斜めのマトリックスの積を通じて、因数分解によって複雑さをさらに減らすことを提案します。
さらに、循環マトリックスをブロックに分割することにより、非二乗微調整ウェイトの場合に対処します。
私たちの方法は、重量変化マトリックスの構築を回避し、2D FFTの代わりに1D高速フーリエ変換（FFT）を利用します。
実験結果は、この方法が、フローティングポイント操作がはるかに少ない（FLOPS）とトレーニング可能なパラメーターの数を持つさまざまなタスクで同様またはより良いパフォーマンスを達成することを示しています。

要約(オリジナル)

Foundation models have achieved tremendous success in different domains. However, their huge computation and storage complexity make these models difficult to fine-tune and also less applicable in practice. Recent study shows training in Fourier domain can be an effective fine-tuning method in terms of both model performance and number of training parameters. In this work, we propose to further reduce the complexity by the factorization through the product of interleaved circulant and diagonal matrices. In addition, we address the case of non-square fine-tuning weights by partitioning the circulant matrix into blocks. Our method avoids the construction of weight change matrix and utilizes 1D fast Fourier transform (FFT) instead of 2D FFT. Experimental results show that our method achieves similar or better performance across various tasks with much less floating-point operations (FLOPs) and the number of trainable parameters.

arxiv情報

著者 Xinyu Ding,Lexuan Chen,Siyu Liao,Zhongfeng Wang
発行日 2025-05-01 15:11:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Parameter-Efficient Fine-Tuning with Circulant and Diagonal Vectors はコメントを受け付けていません

ParkDiffusion: Heterogeneous Multi-Agent Multi-Modal Trajectory Prediction for Automated Parking using Diffusion Models

投稿日: 2025年5月2日 作成者: jarxiv

要約

自動駐車場は、高度なドライバーアシスタンスシステム（ADA）の重要な機能であり、知覚と計画モジュールを橋渡しするために正確な軌道予測が不可欠です。
その重要性にもかかわらず、このドメインでの研究は比較的限られたままであり、ほとんどの既存の研究は車両の単一モーダル軌道予測に集中しています。
この作業では、自動駐車場のシナリオで車両と歩行者の両方の軌跡を予測する新しいアプローチであるParkDiffusionを提案します。
ParkDiffusionは拡散モデルを採用して、将来の軌跡の固有の不確実性とマルチモダリティをキャプチャし、いくつかの重要な革新を取り入れています。
まず、2段階のクロスアテナンスメカニズムを使用して、ソフトセマンティックキューとハード幾何学的制約を処理するデュアルマップエンコーダーを提案します。
次に、適応エージェントタイプの埋め込みモジュールを導入します。これにより、車両と歩行者の明確な特性に関する予測プロセスが動的に条件付けられます。
第三に、運動学的な実現可能性を確保するために、モデルは運動学的軌道を生成するために運動学的フレームワーク内でその後使用される制御信号を出力します。
Dragon Lake Parking（DLP）データセットと交差点ドローン（IND）データセットのParkDiffusionを評価します。
私たちの仕事は、駐車場のシナリオにおける不均一な軌跡予測のための新しいベースラインを確立し、既存の方法をかなりのマージンで上回ります。

要約(オリジナル)

Automated parking is a critical feature of Advanced Driver Assistance Systems (ADAS), where accurate trajectory prediction is essential to bridge perception and planning modules. Despite its significance, research in this domain remains relatively limited, with most existing studies concentrating on single-modal trajectory prediction of vehicles. In this work, we propose ParkDiffusion, a novel approach that predicts the trajectories of both vehicles and pedestrians in automated parking scenarios. ParkDiffusion employs diffusion models to capture the inherent uncertainty and multi-modality of future trajectories, incorporating several key innovations. First, we propose a dual map encoder that processes soft semantic cues and hard geometric constraints using a two-step cross-attention mechanism. Second, we introduce an adaptive agent type embedding module, which dynamically conditions the prediction process on the distinct characteristics of vehicles and pedestrians. Third, to ensure kinematic feasibility, our model outputs control signals that are subsequently used within a kinematic framework to generate physically feasible trajectories. We evaluate ParkDiffusion on the Dragon Lake Parking (DLP) dataset and the Intersections Drone (inD) dataset. Our work establishes a new baseline for heterogeneous trajectory prediction in parking scenarios, outperforming existing methods by a considerable margin.

arxiv情報

著者 Jiarong Wei,Niclas Vödisch,Anna Rehr,Christian Feist,Abhinav Valada
発行日 2025-05-01 15:16:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | ParkDiffusion: Heterogeneous Multi-Agent Multi-Modal Trajectory Prediction for Automated Parking using Diffusion Models はコメントを受け付けていません

AMUN: Adversarial Machine UNlearning

投稿日: 2025年5月2日 作成者: jarxiv

要約

ユーザーが忘却データセットの削除を要求できるマシンUlderningは、多数のプライバシー規制のためにますます重要になっています。
「正確」の初期作業（例：再訓練）が大規模な計算オーバーヘッドが発生します。
ただし、計算的に安価ですが、「近似」方法は、正確な学習の有効性に達することに至りませんでした。
この観察を活用して、画像分類のための以前の最先端（SOTA）方法を上回る新しい未学習の方法である敵対機の敵対的なマシンUlderning（Amun）を提案します。
Amunは、対応する敵対的な例でモデルを微調整することにより、忘却サンプルのモデルの信頼を低下させます。
敵対的な例は、入力空間にモデルによって課される分布に自然に属します。
対応する忘却サンプルに最も近い敵の例でモデルを微調整すると、（a）各忘却サンプルの周りのモデルの決定境界の変更を局所化し、（b）モデルのグローバルな動作に対する劇的な変化を回避し、それによってテストサンプルに対するモデルの精度を維持します。
AMUNを使用して、CIFAR-10サンプルのランダムな$ 10 \％$を学習するために、SOTAメンバーシップ推論攻撃でさえランダム推測よりもうまくいかないことがわかります。

要約(オリジナル)

Machine unlearning, where users can request the deletion of a forget dataset, is becoming increasingly important because of numerous privacy regulations. Initial works on “exact” unlearning (e.g., retraining) incur large computational overheads. However, while computationally inexpensive, “approximate” methods have fallen short of reaching the effectiveness of exact unlearning: models produced fail to obtain comparable accuracy and prediction confidence on both the forget and test (i.e., unseen) dataset. Exploiting this observation, we propose a new unlearning method, Adversarial Machine UNlearning (AMUN), that outperforms prior state-of-the-art (SOTA) methods for image classification. AMUN lowers the confidence of the model on the forget samples by fine-tuning the model on their corresponding adversarial examples. Adversarial examples naturally belong to the distribution imposed by the model on the input space; fine-tuning the model on the adversarial examples closest to the corresponding forget samples (a) localizes the changes to the decision boundary of the model around each forget sample and (b) avoids drastic changes to the global behavior of the model, thereby preserving the model’s accuracy on test samples. Using AMUN for unlearning a random $10\%$ of CIFAR-10 samples, we observe that even SOTA membership inference attacks cannot do better than random guessing.

arxiv情報

著者 Ali Ebrahimpour-Boroojeny,Hari Sundaram,Varun Chandrasekaran
発行日 2025-05-01 15:21:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | AMUN: Adversarial Machine UNlearning はコメントを受け付けていません

Unlocking the Potential of Linear Networks for Irregular Multivariate Time Series Forecasting

投稿日: 2025年5月2日 作成者: jarxiv

要約

時系列の予測は、財務、輸送、エネルギー、ヘルスケア、気候など、さまざまな業界で非常に重要です。
一時的な依存関係のモデリングにおける計算コストと有効性が低いため、線形ネットワークが広く使用されているにもかかわらず、ほとんどの既存の研究は、定期的にサンプリングおよび完全に観察された多変量時系列に集中しています。
ただし、実際には、さまざまなサンプリング間隔と欠損値を特徴とする不規則な多変量時系列に頻繁に遭遇します。
このようなデータにおける固有のシリーズ内の矛盾とシリーズの非同期は、静的な重みに依存する従来の線形ネットワークを使用した効果的なモデリングと予測を妨げます。
これらの課題に取り組むために、このペーパーではAITという名前の新しいモデルを紹介します。
AITは、観測時点に応じて重みを動的に調整できる適応線形ネットワークを利用して、シリーズ内の矛盾に対処し、それにより時間的依存性モデリングの精度を高めます。
さらに、可変セマンティクスの埋め込みにトランスモジュールを組み込むことにより、AITは可変相関を効率的にキャプチャし、シリーズ間の非同期の課題を回避します。
4つのベンチマークデータセットにわたる包括的な実験は、AITの優位性を示し、予測の精度を11％改善し、既存の最先端の方法と比較してランタイムを52％減少させます。

要約(オリジナル)

Time series forecasting holds significant importance across various industries, including finance, transportation, energy, healthcare, and climate. Despite the widespread use of linear networks due to their low computational cost and effectiveness in modeling temporal dependencies, most existing research has concentrated on regularly sampled and fully observed multivariate time series. However, in practice, we frequently encounter irregular multivariate time series characterized by variable sampling intervals and missing values. The inherent intra-series inconsistency and inter-series asynchrony in such data hinder effective modeling and forecasting with traditional linear networks relying on static weights. To tackle these challenges, this paper introduces a novel model named AiT. AiT utilizes an adaptive linear network capable of dynamically adjusting weights according to observation time points to address intra-series inconsistency, thereby enhancing the accuracy of temporal dependencies modeling. Furthermore, by incorporating the Transformer module on variable semantics embeddings, AiT efficiently captures variable correlations, avoiding the challenge of inter-series asynchrony. Comprehensive experiments across four benchmark datasets demonstrate the superiority of AiT, improving prediction accuracy by 11% and decreasing runtime by 52% compared to existing state-of-the-art methods.

arxiv情報

著者 Chengsen Wang,Qi Qi,Jingyu Wang,Haifeng Sun,Zirui Zhuang,Jianxin Liao
発行日 2025-05-01 15:24:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Unlocking the Potential of Linear Networks for Irregular Multivariate Time Series Forecasting はコメントを受け付けていません

Explainable AI in Spatial Analysis

投稿日: 2025年5月2日 作成者: jarxiv

要約

この章では、空間分析の領域内で説明可能な人工知能（XAI）の機会について説明します。
空間分析の重要な目的は、空間的関係をモデル化し、空間データから知識を生成するための空間プロセスを推測することです。これは主に空間統計的方法に基づいています。
最近では、機械学習は、従来の方法を補完するスケーラブルで柔軟なアプローチを提供し、空間データサイエンスにますます適用されています。
その利点にもかかわらず、機械学習はしばしばブラックボックスであると批判されており、モデルの動作と出力の理解を制限します。
この制限を認識して、XaiはAIの極めて重要な分野として浮上しており、透明性と理解を高めるための機械学習モデルの出力を説明する方法を提供しています。
これらの方法は、モデル診断、バイアス検出、および機械学習モデルから得られた結果の信頼性を確保するために重要です。
この章では、Shapleyの価値ベースのアプローチに焦点を当てたXaiの重要な概念と方法を紹介します。これは、おそらく最も人気のあるXaiメソッドであり、空間分析との統合です。
2020年の大統領選挙における郡レベルの投票行動の実証的な例が提示され、Shapleyの価値と空間分析の使用を実証し、地理的に重み付けされた複数の回帰と比較しています。
この章では、現在のXaiテクニックの課題と制限に関する議論で締めくくり、新しい方向性を提案します。

要約(オリジナル)

This chapter discusses the opportunities of eXplainable Artificial Intelligence (XAI) within the realm of spatial analysis. A key objective in spatial analysis is to model spatial relationships and infer spatial processes to generate knowledge from spatial data, which has been largely based on spatial statistical methods. More recently, machine learning offers scalable and flexible approaches that complement traditional methods and has been increasingly applied in spatial data science. Despite its advantages, machine learning is often criticized for being a black box, which limits our understanding of model behavior and output. Recognizing this limitation, XAI has emerged as a pivotal field in AI that provides methods to explain the output of machine learning models to enhance transparency and understanding. These methods are crucial for model diagnosis, bias detection, and ensuring the reliability of results obtained from machine learning models. This chapter introduces key concepts and methods in XAI with a focus on Shapley value-based approaches, which is arguably the most popular XAI method, and their integration with spatial analysis. An empirical example of county-level voting behaviors in the 2020 Presidential election is presented to demonstrate the use of Shapley values and spatial analysis with a comparison to multi-scale geographically weighted regression. The chapter concludes with a discussion on the challenges and limitations of current XAI techniques and proposes new directions.

arxiv情報

著者 Ziqi Li
発行日 2025-05-01 15:25:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM | Explainable AI in Spatial Analysis はコメントを受け付けていません

Sim-Anchored Learning for On-the-Fly Adaptation

投稿日: 2025年5月2日 作成者: jarxiv

要約

現実世界のデータを持つ微調整シミュレーショントレーニングRLエージェントは、データ分布が限られている、または歪んでいるため、重要な動作を低下させることがよくあります。
デザイナーの優先順位は、報酬機能だけでなく、タスクの選択や状態初期化などのシミュレーション設計の選択にも存在すると主張します。
実際のデータに適応する場合、エージェントは重要であるが過小評価されているシナリオで壊滅的な忘却を経験することができます。
ライブに適応することを、シミュレーションと現実の両方で政策目標を満たす必要がある多目的最適化問題としてのフレーミングを提案します。
私たちのアプローチは、シミュレーションから批評家を「設計意図のためのアンカー」（アンカー批評家）として活用しています。
現実世界の経験に訓練されたアンカー批評家と批評家の両方に対して政策を共同で最適化することにより、私たちの方法は、シミュレーションから優先順位付けされた行動を維持しながら適応を可能にします。
評価は、SIMからSIMへのベンチマークでの堅牢な動作保持と、レースの四角体を備えたSIMからリアルのシナリオを示しており、コントロール損失なしで最大50％の消費電力削減を可能にします。
また、同様のロボットプラットフォームでのライブ適応を可能にするためのオープンソースのファームウェアであるSwannflightを提供します。

要約(オリジナル)

Fine-tuning simulation-trained RL agents with real-world data often degrades crucial behaviors due to limited or skewed data distributions. We argue that designer priorities exist not just in reward functions, but also in simulation design choices like task selection and state initialization. When adapting to real-world data, agents can experience catastrophic forgetting in important but underrepresented scenarios. We propose framing live-adaptation as a multi-objective optimization problem, where policy objectives must be satisfied both in simulation and reality. Our approach leverages critics from simulation as ‘anchors for design intent’ (anchor critics). By jointly optimizing policies against both anchor critics and critics trained on real-world experience, our method enables adaptation while preserving prioritized behaviors from simulation. Evaluations demonstrate robust behavior retention in sim-to-sim benchmarks and a sim-to-real scenario with a racing quadrotor, allowing for power consumption reductions of up to 50% without control loss. We also contribute SwaNNFlight, an open-source firmware for enabling live adaptation on similar robotic platforms.

arxiv情報

著者 Bassel El Mabsout,Shahin Roozkhosh,Siddharth Mysore,Kate Saenko,Renato Mancuso
発行日 2025-05-01 15:26:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Sim-Anchored Learning for On-the-Fly Adaptation はコメントを受け付けていません

Accelerated First-Order Optimization under Nonlinear Constraints

投稿日: 2025年5月2日 作成者: jarxiv

要約

制約された最適化のための1次アルゴリズムと、制約された最適化のために新しいクラスの加速された1次アルゴリズムを設計するための非スムース動的システムとの類似性を活用します。
フランクウルフや投影勾配とは異なり、これらのアルゴリズムは、各反復で実行可能なセット全体にわたって最適化を回避します。
凸がない設定でも固定点への収束を証明し、凸状の設定の加速レートを連続時間と離散時間の両方で導き出します。
これらのアルゴリズムの重要な特性は、制約が位置の代わりに速度で表されることです。これは、自然に実行可能なセットのまばらで局所的で凸の近似につながります（実行可能なセットが非コンベックスであっても）。
したがって、複雑さは、決定変数の数と制約の数で穏やかに成長する傾向があり、これによりアルゴリズムが機械学習アプリケーションに適しています。
アルゴリズムを圧縮センシングとまばらな回帰問題に適用し、$ P = 1 $で最先端のパフォーマンスを回復しながら、非凸$ \ ell^p $制約（$ p <1 $）を効率的に扱うことができることを示します。

要約(オリジナル)

We exploit analogies between first-order algorithms for constrained optimization and non-smooth dynamical systems to design a new class of accelerated first-order algorithms for constrained optimization. Unlike Frank-Wolfe or projected gradients, these algorithms avoid optimization over the entire feasible set at each iteration. We prove convergence to stationary points even in a nonconvex setting and we derive accelerated rates for the convex setting both in continuous time, as well as in discrete time. An important property of these algorithms is that constraints are expressed in terms of velocities instead of positions, which naturally leads to sparse, local and convex approximations of the feasible set (even if the feasible set is nonconvex). Thus, the complexity tends to grow mildly in the number of decision variables and in the number of constraints, which makes the algorithms suitable for machine learning applications. We apply our algorithms to a compressed sensing and a sparse regression problem, showing that we can treat nonconvex $\ell^p$ constraints ($p<1$) efficiently, while recovering state-of-the-art performance for $p=1$.

arxiv情報

著者 Michael Muehlebach,Michael I. Jordan
発行日 2025-05-01 15:30:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP, math.OC, stat.ML | Accelerated First-Order Optimization under Nonlinear Constraints はコメントを受け付けていません

A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization

投稿日: 2025年5月2日 作成者: jarxiv

要約

このホワイトペーパーでは、グループ分布の堅牢な最適化（GDRO）や不均衡なデータを使用した学習など、アプリケーションに関する凸型の有限サム結合組成最適化（CFCCO）のクラスを研究します。
これらの問題に対処するために、ALEXRと呼ばれる効率的なシングルループプライマルドアルブロック座標確率的アルゴリズムを導入します。
このアルゴリズムは、二重変数の外挿および原始変数の確率的近位勾配降下更新を伴うブロック座標確率ミラー上昇を採用しています。
関与する関数の滑らかさと非滑らかさ条件の下で凸型および強く凸症例の両方でALEXRの収束速度を確立します。これにより、滑らかなCFCCO問題に関する以前の作品の最良のレートを改善するだけでなく、GDROの二重形態などのより困難な非滑らかな問題を解決するためのCFCCOの領域も拡大します。
最後に、CFCCOの確率的アルゴリズムの広範なクラス内でALEXRの（近く）最適性を実証し、より低い複雑さの境界を導き出します。
ROC曲線（PAUC）の最大化下のGDROおよび部分領域の実験結果は、アルゴリズムの有望なパフォーマンスを示しています。

要約(オリジナル)

This paper studies a class of convex Finite-sum Coupled Compositional Optimization (cFCCO) problems with applications including group distributionally robust optimization (GDRO) and learning with imbalanced data. To better address these problems, we introduce an efficient single-loop primal-dual block-coordinate stochastic algorithm called ALEXR. The algorithm employs block-coordinate stochastic mirror ascent with extrapolation for the dual variable and stochastic proximal gradient descent updates for the primal variable. We establish the convergence rates of ALEXR in both convex and strongly convex cases under smoothness and non-smoothness conditions of involved functions, which not only improve the best rates in previous works on smooth cFCCO problems but also expand the realm of cFCCO for solving more challenging non-smooth problems such as the dual form of GDRO. Finally, we derive lower complexity bounds, demonstrating the (near-)optimality of ALEXR within a broad class of stochastic algorithms for cFCCO. Experimental results on GDRO and partial Area Under the ROC Curve (pAUC) maximization demonstrate the promising performance of our algorithm.

arxiv情報

著者 Bokun Wang,Tianbao Yang
発行日 2025-05-01 15:59:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | A Near-Optimal Single-Loop Stochastic Algorithm for Convex Finite-Sum Coupled Compositional Optimization はコメントを受け付けていません

SA-GAT-SR: Self-Adaptable Graph Attention Networks with Symbolic Regression for high-fidelity material property prediction

投稿日: 2025年5月2日 作成者: jarxiv

要約

機械学習の最近の進歩により、深い学習アプローチ、特に材料科学のグラフニューラルネットワーク（GNNS）の膨大なユーティリティが実証されています。
これらの方法は、材料特性のハイスループット予測の強力なツールとして浮上しており、従来の第一原理計算に代わる魅力的な強化と代替を提供しています。
コミュニティは主に、ますます複雑で普遍的なモデルを開発して予測精度を高めることに焦点を当てていますが、そのようなアプローチには、物理​​的な解釈性と材料行動に対する洞察が欠けていることがよくあります。
ここでは、Symbolic Regression（SA-GAT-SR）と統合された新しい計算パラダイム、自己適応不可能なグラフ注意ネットワークを紹介します。
私たちのフレームワークは、O（n）計算スケーリングを維持しながら、広大な180次元機能空間から重要な機能をスクリーニングするように、注意の重みを自動的に識別および調整する自己適応可能なエンコードアルゴリズムを採用しています。
統合されたSRモジュールは、その後、これらの機能を、量子力学的に意味のある関係を明示的に明らかにするコンパクトな分析式に蒸留し、最初の原則計算由来の機能に入力として大きく依存する従来のSR実装と比較して23倍の加速を達成します。
この作業は、計算材料科学の新しいフレームワークを示唆しており、予測精度と物理的解釈性のギャップを埋め、物質的な行動に関する貴重な物理的洞察を提供します。

要約(オリジナル)

Recent advances in machine learning have demonstrated an enormous utility of deep learning approaches, particularly Graph Neural Networks (GNNs) for materials science. These methods have emerged as powerful tools for high-throughput prediction of material properties, offering a compelling enhancement and alternative to traditional first-principles calculations. While the community has predominantly focused on developing increasingly complex and universal models to enhance predictive accuracy, such approaches often lack physical interpretability and insights into materials behavior. Here, we introduce a novel computational paradigm, Self-Adaptable Graph Attention Networks integrated with Symbolic Regression (SA-GAT-SR), that synergistically combines the predictive capability of GNNs with the interpretative power of symbolic regression. Our framework employs a self-adaptable encoding algorithm that automatically identifies and adjust attention weights so as to screen critical features from an expansive 180-dimensional feature space while maintaining O(n) computational scaling. The integrated SR module subsequently distills these features into compact analytical expressions that explicitly reveal quantum-mechanically meaningful relationships, achieving 23 times acceleration compared to conventional SR implementations that heavily rely on first principle calculations-derived features as input. This work suggests a new framework in computational materials science, bridging the gap between predictive accuracy and physical interpretability, offering valuable physical insights into material behavior.

arxiv情報

著者 Liu Junchi,Tang Ying,Tretiak Sergei,Duan Wenhui,Zhou Liujiang
発行日 2025-05-01 16:05:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.LG, physics.comp-ph | SA-GAT-SR: Self-Adaptable Graph Attention Networks with Symbolic Regression for high-fidelity material property prediction はコメントを受け付けていません