A Novel Deep Learning Approach for Emulating Computationally Expensive Postfire Debris Flows

投稿日: 2025年4月11日 作成者: jarxiv

要約

破片の流れや地滑りなど、人間の生活やインフラストラクチャに重大なリスクをもたらす地球物理的流量の従来の物理学ベースのモデルは、大規模なパラメータースイープ、不確実性の定量化、反転、またはリアルタイムアプリケーションのユーティリティを制限します。
この研究では、物理ベースのシミュレーションからのデータに基づいて、流出生成の破片フローのダイナミクスを多様な地形にまたがる、修正されたU-NETアーキテクチャを使用して構築された効率的な代替品、深い学習ベースの代理モデルを提示します。
調査地域は、パッチ予測ステッチ方法論を使用して、ローカライズされた予測のために小さなパッチに分割されています（限られたグローバルデータによって補完されてトレーニングを加速します）。
次に、パッチを組み合わせて空間的に連続的なフローマップを再構築し、大きなドメインのスケーラビリティを確保します。
限られた高価なシミュレーションを使用して高速トレーニングを可能にするために、ディープラーニングモデルは、ラテンハイパーキューブサンプリングを介して生成されたパラメーターを使用して物理ベースのシミュレーションのアンサンブルからのデータでトレーニングされ、目に見えないパラメーターセットと地形で検証され、最大ポイントワイズエラーが10％未満と堅牢な一般化を達成しました。
モンテカルロ法を使用した不確実性の定量化は、検証済みのサロゲートを使用して有効になり、確率的ハザード評価を促進できます。
この研究は、地球物理フロー分析の強力なツールとしての深い学習サロゲートの可能性を強調し、計算上効率的で信頼できる確率的ハザードマップ予測を可能にします。

要約(オリジナル)

Traditional physics-based models of geophysical flows, such as debris flows and landslides that pose significant risks to human lives and infrastructure are computationally expensive, limiting their utility for large-scale parameter sweeps, uncertainty quantification, inversions or real-time applications. This study presents an efficient alternative, a deep learning-based surrogate model built using a modified U-Net architecture to predict the dynamics of runoff-generated debris flows across diverse terrain based on data from physics based simulations. The study area is divided into smaller patches for localized predictions using a patch-predict-stitch methodology (complemented by limited global data to accelerate training). The patches are then combined to reconstruct spatially continuous flow maps, ensuring scalability for large domains. To enable fast training using limited expensive simulations, the deep learning model was trained on data from an ensemble of physics based simulations using parameters generated via Latin Hypercube Sampling and validated on unseen parameter sets and terrain, achieving maximum pointwise errors below 10% and robust generalization. Uncertainty quantification using Monte Carlo methods are enabled using the validated surrogate, which can facilitate probabilistic hazard assessments. This study highlights the potential of deep learning surrogates as powerful tools for geophysical flow analysis, enabling computationally efficient and reliable probabilistic hazard map predictions.

arxiv情報

著者 Palak Patel,Luke McGuire,Abani Patra
発行日 2025-04-10 13:29:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.flu-dyn, physics.geo-ph | A Novel Deep Learning Approach for Emulating Computationally Expensive Postfire Debris Flows はコメントを受け付けていません

From Observation to Orientation: an Adaptive Integer Programming Approach to Intervention Design

投稿日: 2025年4月11日 作成者: jarxiv

要約

観察データと実験データの両方を使用すると、因果発見プロセスは変数間の因果関係を識別できます。
この作業では、独自の適応介入設計パラダイムが提示されています。この作業では、因果的指示された非環式グラフ（DAG）が、実用的な予算上の考慮事項で効果的に回復するためです。
これらの考慮事項の下で情報ゲインを最適化する治療法を選択するために、反復整数プログラミング（IP）アプローチが提案されており、必要な実験の数を大幅に減らします。
幅広いグラフサイズとエッジ密度にわたるシミュレーションを使用して、提案されたアプローチの有効性を評価します。
結果は、提案された適応IPアプローチが、ランダムな介入ベースラインよりも介入の反復と可変操作が少ない完全な因果グラフの回復を達成することを示しており、さまざまな実用的な制約に対応するのに十分な柔軟性もあります。

要約(オリジナル)

Using both observational and experimental data, a causal discovery process can identify the causal relationships between variables. A unique adaptive intervention design paradigm is presented in this work, where causal directed acyclic graphs (DAGs) are for effectively recovered with practical budgetary considerations. In order to choose treatments that optimize information gain under these considerations, an iterative integer programming (IP) approach is proposed, which drastically reduces the number of experiments required. Simulations over a broad range of graph sizes and edge densities are used to assess the effectiveness of the suggested approach. Results show that the proposed adaptive IP approach achieves full causal graph recovery with fewer intervention iterations and variable manipulations than random intervention baselines, and it is also flexible enough to accommodate a variety of practical constraints.

arxiv情報

著者 Abdelmonem Elrefaey,Rong Pan
発行日 2025-04-10 13:34:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | From Observation to Orientation: an Adaptive Integer Programming Approach to Intervention Design はコメントを受け付けていません

Harnessing Equivariance: Modeling Turbulence with Graph Neural Networks

投稿日: 2025年4月11日 作成者: jarxiv

要約

この作業は、グラフニューラルネットワーク（GNNS）に基づいた大きな渦シミュレーション（LES）の乱流モデリングの新しい方法論を提案します。
さらに、GNNモデルをLESフレームワークにシームレスに埋め込んで対称的なシミュレーションセットアップを取得できる適切な不変の入力と出力スペースが導出されます。
提案されたアプローチの適合性は、2つの標準的なテストケースについて調査されます：均質等方性乱流（HIT）と乱流チャネルの流れ。
どちらの場合も、GNNモデルは、強化学習（RL）を使用した実際のシミュレーションで正常にトレーニングされ、モデルが基礎となるLESの定式化と離散化と一致していることを確認します。
ヒットケースでは、結果として得られるGNNベースのLESスキームが、実際のシミュレーションで機械の精度までの回転と反射の等量を回復することが実証されています。
同時に、安定性と精度は、これらの特性に従わない非対称性存在の機械学習モデルと同等のままです。
同じモデリング戦略は、GNNモデルがより複雑なフロー物理学を成功裏に学習し、乱流統計を回復し、レイノルズストレスを回復できる乱流チャネルの流れによく変換されます。
GNNモデルは、壁と外側の領域で異なる動作を伴う帯状モデリング戦略を学習することが示されています。
したがって、提案されたアプローチは、特にLESとRLのコンテキストで、乱流モデリングのGNNの可能性を示しています。

要約(オリジナル)

This work proposes a novel methodology for turbulence modeling in Large Eddy Simulation (LES) based on Graph Neural Networks (GNNs), which embeds the discrete rotational, reflectional and translational symmetries of the Navier-Stokes equations into the model architecture. In addition, suitable invariant input and output spaces are derived that allow the GNN models to be embedded seamlessly into the LES framework to obtain a symmetry-preserving simulation setup. The suitability of the proposed approach is investigated for two canonical test cases: Homogeneous Isotropic Turbulence (HIT) and turbulent channel flow. For both cases, GNN models are trained successfully in actual simulations using Reinforcement Learning (RL) to ensure that the models are consistent with the underlying LES formulation and discretization. It is demonstrated for the HIT case that the resulting GNN-based LES scheme recovers rotational and reflectional equivariance up to machine precision in actual simulations. At the same time, the stability and accuracy remain on par with non-symmetry-preserving machine learning models that fail to obey these properties. The same modeling strategy translates well to turbulent channel flow, where the GNN model successfully learns the more complex flow physics and is able to recover the turbulent statistics and Reynolds stresses. It is shown that the GNN model learns a zonal modeling strategy with distinct behaviors in the near-wall and outer regions. The proposed approach thus demonstrates the potential of GNNs for turbulence modeling, especially in the context of LES and RL.

arxiv情報

著者 Marius Kurz,Andrea Beck,Benjamin Sanderse
発行日 2025-04-10 13:37:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.flu-dyn | Harnessing Equivariance: Modeling Turbulence with Graph Neural Networks はコメントを受け付けていません

Gradient-based Sample Selection for Faster Bayesian Optimization

投稿日: 2025年4月11日 作成者: jarxiv

要約

Bayesian Optimization（BO）は、ブラックボックスの最適化に効果的な手法です。
ただし、その適用性は、通常、ガウスプロセス（GP）サロゲートモデルを計算する際の立方体の複雑さのために、中程度の予算の問題に限定されています。
大規模な予算のシナリオでは、標準のGPモデルを直接採用すると、計算時間とリソースの要件が重要な課題に直面しています。
この論文では、BOの計算効率を高めるために、勾配ベースのサンプル選択ベイズ最適化（GSSBO）を提案します。
GPモデルは、データセット全体の代わりに選択したサンプルセットに構築されます。
これらのサンプルは、多様性と表現を維持するために勾配情報を活用することによって選択されます。
グラデーションベースのサンプル選択戦略の理論的分析を提供し、提案されたフレームワークの明示的なサブリン後悔の境界を取得します。
合成および現実世界のタスクに関する広範な実験は、私たちのアプローチがベースライン方法に匹敵する最適化パフォーマンスを維持しながら、BOのGPフィッティングの計算コストを大幅に削減することを示しています。

要約(オリジナル)

Bayesian optimization (BO) is an effective technique for black-box optimization. However, its applicability is typically limited to moderate-budget problems due to the cubic complexity in computing the Gaussian process (GP) surrogate model. In large-budget scenarios, directly employing the standard GP model faces significant challenges in computational time and resource requirements. In this paper, we propose a novel approach, gradient-based sample selection Bayesian Optimization (GSSBO), to enhance the computational efficiency of BO. The GP model is constructed on a selected set of samples instead of the whole dataset. These samples are selected by leveraging gradient information to maintain diversity and representation. We provide a theoretical analysis of the gradient-based sample selection strategy and obtain explicit sublinear regret bounds for our proposed framework. Extensive experiments on synthetic and real-world tasks demonstrate that our approach significantly reduces the computational cost of GP fitting in BO while maintaining optimization performance comparable to baseline methods.

arxiv情報

著者 Qiyu Wei,Haowei Wang,Zirui Cao,Songhao Wang,Richard Allmendinger,Mauricio A Álvarez
発行日 2025-04-10 13:38:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Gradient-based Sample Selection for Faster Bayesian Optimization はコメントを受け付けていません

Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

投稿日: 2025年4月11日 作成者: jarxiv

要約

確率的微分方程式へのソリューションマップなど、確率的解析のいくつかの非線形演算子は、バナッハ空間間の一般的なマップを近似するように設計された現代の神経演算子によってレバレッジされていない時間構造に依存します。
したがって、このホワイトペーパーでは、適切な無限次元線形メトリックスペースをとる深い学習モデルデザインフレームワークを導入することにより、このオープンな問題に対するオペレーター学習ソリューションを提案します。
バナッハスペースは、入力として、universal \ textit {sequential}ディープラーニングモデルを返します。これらの線形ジオメトリに適合した、時間構造をコードする演算子の近似に特化した線形ジオメトリ。
これらのモデルを\ textit {因果ニューラル演算子}と呼びます。
私たちの主な結果は、私たちのフレームワークによって生成されたモデルは、コンパクトなセットで、および与えられた線形メトリックスペース間にシーケンスを因果的にマッピングする古いまたは滑らかなトレースクラス演算子を任意に任意に有限の視野を越えて均一に近似できると述べています。
私たちの分析は、因果神経演算子の潜在的な状態空間次元に関する新しい定量的関係を明らかにします。
さらに、有限次元空間間の動的システムを近似する場合、再発性ニューラルネットワークの保証は、フィードフォワードニューラルネットワークから継承された利用可能な結果よりも緊密です。

要約(オリジナル)

Several non-linear operators in stochastic analysis, such as solution maps to stochastic differential equations, depend on a temporal structure which is not leveraged by contemporary neural operators designed to approximate general maps between Banach space. This paper therefore proposes an operator learning solution to this open problem by introducing a deep learning model-design framework that takes suitable infinite-dimensional linear metric spaces, e.g. Banach spaces, as inputs and returns a universal \textit{sequential} deep learning model adapted to these linear geometries specialized for the approximation of operators encoding a temporal structure. We call these models \textit{Causal Neural Operators}. Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons H\’older or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of Causal Neural Operators, which even have new implications for (classical) finite-dimensional Recurrent Neural Networks. In addition, our guarantees for recurrent neural networks are tighter than the available results inherited from feedforward neural networks when approximating dynamical systems between finite-dimensional spaces.

arxiv情報

著者 Luca Galimberti,Anastasis Kratsios,Giulia Livieri
発行日 2025-04-10 13:41:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DS, q-fin.CP | Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis はコメントを受け付けていません

DCSI — An improved measure of cluster separability based on separation and connectedness

投稿日: 2025年4月11日 作成者: jarxiv

要約

特定のデータセット内のクラスラベルが意味のあるクラスターに対応するかどうかは、実際のデータセットを使用してクラスタリングアルゴリズムの評価に重要です。
このプロパティは、分離性測定によって定量化できます。
密度ベースのクラスタリングの分離性の中心的な側面は、クラスの分離とクラス内のつながりの間であり、分類ベースの複雑さ測定もクラスター妥当性インデックス（CVI）も適切に組み込まれていません。
新しく開発された測定（密度クラスター分離性インデックス、DCSI）は、これら2つの特性を定量化することを目的としており、CVIとしても使用できます。
合成データに関する広範な実験は、DCSIが調整されたRANDインデックス（ARI）を介して測定されたDBSCANのパフォーマンスと強く相関していることを示していますが、密度ベースのハードクラスタリングに適していない重複するクラスを備えたマルチクラスのデータセットに関しては堅牢性がありません。
頻繁に使用される現実世界のデータセットに関する詳細な評価は、DCSIが意味のある密度ベースのクラスターに対応しないタッチまたはオーバーラップのクラスを正しく識別できることを示しています。

要約(オリジナル)

Whether class labels in a given data set correspond to meaningful clusters is crucial for the evaluation of clustering algorithms using real-world data sets. This property can be quantified by separability measures. The central aspects of separability for density-based clustering are between-class separation and within-class connectedness, and neither classification-based complexity measures nor cluster validity indices (CVIs) adequately incorporate them. A newly developed measure (density cluster separability index, DCSI) aims to quantify these two characteristics and can also be used as a CVI. Extensive experiments on synthetic data indicate that DCSI correlates strongly with the performance of DBSCAN measured via the adjusted Rand index (ARI) but lacks robustness when it comes to multi-class data sets with overlapping classes that are ill-suited for density-based hard clustering. Detailed evaluation on frequently used real-world data sets shows that DCSI can correctly identify touching or overlapping classes that do not correspond to meaningful density-based clusters.

arxiv情報

著者 Jana Gauss,Fabian Scheipl,Moritz Herrmann
発行日 2025-04-10 13:55:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | DCSI — An improved measure of cluster separability based on separation and connectedness はコメントを受け付けていません

Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization

投稿日: 2025年4月11日 作成者: jarxiv

要約

軽度の仮定の下で、グローバルミニマイの近くにある2層ニューラルネットワークの損失状況のジオメトリを調査します。
新しいテクニックを利用して、次のことを示します。（i）サンプルサイズが増えるにつれて、一般化エラーがゼロの一般化エラーが他のグローバルミニマから幾何学的に分離される方法。
（ii）ローカル収束特性と勾配フローダイナミクスの速度。
我々の結果は、2層ニューラルネットワークがオーバーパラメーター化のレジームで局所的に回復できることを示しています。

要約(オリジナル)

Under mild assumptions, we investigate the geometry of the loss landscape for two-layer neural networks in the vicinity of global minima. Utilizing novel techniques, we demonstrate: (i) how global minima with zero generalization error become geometrically separated from other global minima as the sample size grows; and (ii) the local convergence properties and rate of gradient flow dynamics. Our results indicate that two-layer neural networks can be locally recovered in the regime of overparameterization.

arxiv情報

著者 Leyang Zhang,Yaoyu Zhang,Tao Luo
発行日 2025-04-10 13:56:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DS | Geometry and Local Recovery of Global Minima of Two-layer Neural Networks at Overparameterization はコメントを受け付けていません

Modern Hopfield Networks with Continuous-Time Memories

投稿日: 2025年4月11日 作成者: jarxiv

要約

最近の研究により、近代的なホップフィールドネットワーク（HNS）とトランスの注意ヘッドとの関係が確立され、指数ストレージ容量が保証されています。
ただし、これらのモデルは依然としてストレージのスケーリングを効率的にスケーリングする課題に直面しています。
ワーキングメモリにおける継続的な神経資源の割り当ての心理的理論に触発されて、私たちは、大きな個別のホップフィールドの記憶を小さく連続した時間の記憶に圧縮するアプローチを提案します。
連続的な注意を引く新しいエネルギー関数は、HNSの更新ルールを変更し、従来のソフトマックスベースの確率質量関数を連続メモリ上の確率密度に置き換えます。
この定式化は、人間の実行機能に関する最新の視点と一致し、作業メモリのアトラクタダイナミクスとリソース効率の高いメモリ割り当ての間の原則的なリンクを提供します。
私たちのフレームワークは、圧縮されたメモリを活用しながら、HNSでの競争力のあるパフォーマンスを維持し、合成およびビデオデータセット全体の計算コストを削減します。

要約(オリジナル)

Recent research has established a connection between modern Hopfield networks (HNs) and transformer attention heads, with guarantees of exponential storage capacity. However, these models still face challenges scaling storage efficiently. Inspired by psychological theories of continuous neural resource allocation in working memory, we propose an approach that compresses large discrete Hopfield memories into smaller, continuous-time memories. Leveraging continuous attention, our new energy function modifies the update rule of HNs, replacing the traditional softmax-based probability mass function with a probability density, over the continuous memory. This formulation aligns with modern perspectives on human executive function, offering a principled link between attractor dynamics in working memory and resource-efficient memory allocation. Our framework maintains competitive performance with HNs while leveraging a compressed memory, reducing computational costs across synthetic and video datasets.

arxiv情報

著者 Saul Santos,António Farinhas,Daniel C. McNamee,André F. T. Martins
発行日 2025-04-10 14:32:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Modern Hopfield Networks with Continuous-Time Memories はコメントを受け付けていません

Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation

投稿日: 2025年4月11日 作成者: jarxiv

要約

変圧器ベースの大手言語モデル（LLMS）は、生成タスクで印象的なパフォーマンスを示しますが、高価で計算最適化された加速器の非効率的な使用により、実際のサービスに重要な課題をもたらします。
LLM推論のさまざまなフェーズを分割するために、分解されたサービスアーキテクチャが提案されていますが、デコードフェーズの効率はまだ低いです。
これは、変圧器ベースのLLMのさまざまな演算子のさまざまなリソース要求によって引き起こされます。
具体的には、注意オペレーターはメモリ集約的であり、特に長いコンテキストリクエストのために、最新の加速器の強みと衝突するメモリアクセスパターンを示します。
LLMデコードの効率を向上させるために、モデル出席分解を導入します。
このアプローチは、モデルの他の部分にハイエンドの加速器を利用しながら、注意演算子向けの安価でメモリ最適化されたデバイスのコレクションを活用しています。
この不均一なセットアップにより、各コンポーネントが特定のワークロードに合わせて調整され、全体的なパフォーマンスとコスト効率が最大化されます。
当社の包括的な分析と実験は、複数のデバイスで注意計算を分割する実行可能性を確認します。
また、不均一なデバイス間で必要な通信帯域幅は、一般的なネットワーキングテクノロジーで管理可能であることが証明されています。
私たちの理論をさらに検証するために、分散された不均一なクラスターにモデル出席分解を組み込んだLLM推論システムであるLaminaを開発および展開します。
実験結果は、ラミナが同様のコストを持つ既存のソリューションよりも16.1〜90.1％の推定スループットを提供できることを示しています。

要約(オリジナル)

Transformer-based large language models (LLMs) exhibit impressive performance in generative tasks but also introduce significant challenges in real-world serving due to inefficient use of the expensive, computation-optimized accelerators. Although disaggregated serving architectures have been proposed to split different phases of LLM inference, the efficiency of decoding phase is still low. This is caused by the varying resource demands of different operators in the transformer-based LLMs. Specifically, the attention operator is memory-intensive, exhibiting a memory access pattern that clashes with the strengths of modern accelerators, especially for long context requests. To enhance the efficiency of LLM decoding, we introduce model-attention disaggregation. This approach leverages a collection of cheap, memory-optimized devices for the attention operator while still utilizing high-end accelerators for other parts of the model. This heterogeneous setup ensures that each component is tailored to its specific workload, maximizing overall performance and cost efficiency. Our comprehensive analysis and experiments confirm the viability of splitting the attention computation over multiple devices. Also, the communication bandwidth required between heterogeneous devices proves to be manageable with prevalent networking technologies. To further validate our theory, we develop and deploy Lamina, an LLM inference system that incorporates model-attention disaggregation in a distributed heterogeneous cluster. Experimental results indicate that Lamina can provide 16.1 ~ 90.1% higher estimated throughput than existing solutions with similar costs.

arxiv情報

著者 Shaoyuan Chen,Wencong Xiao,Yutong Lin,Mingxing Zhang,Yingdi Shan,Jinlei Jiang,Kang Chen,Yongwei Wu
発行日 2025-04-10 14:56:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation はコメントを受け付けていません

Performance of Rank-One Tensor Approximation on Incomplete Data

投稿日: 2025年4月11日 作成者: jarxiv

要約

ノイズの多い観察の一部の$ \ varepsilon $のみが利用可能な場合、ランク1のテンソル信号の推定に関心があります。
この問題の研究は、スペクトル分析が再構成パフォーマンスにアクセスできるランダムマトリックスモデルの研究に還元できることを示しています。
これらの結果は、エントリのランダムな部分の削除を介してテンソルのメモリコストの人為的な削減によって引き起こされるパフォーマンスの損失を明るくし、指定します。

要約(オリジナル)

We are interested in the estimation of a rank-one tensor signal when only a portion $\varepsilon$ of its noisy observation is available. We show that the study of this problem can be reduced to that of a random matrix model whose spectral analysis gives access to the reconstruction performance. These results shed light on and specify the loss of performance induced by an artificial reduction of the memory cost of a tensor via the deletion of a random part of its entries.

arxiv情報

著者 Hugo Lebeau
発行日 2025-04-10 14:57:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.PR, stat.ML | Performance of Rank-One Tensor Approximation on Incomplete Data はコメントを受け付けていません