Controlled Latent Diffusion Models for 3D Porous Media Reconstruction

投稿日: 2025年4月8日 作成者: jarxiv

要約

多孔質媒体の3次元デジタル再構築は、地球科学の根本的な課題を提示し、代表的な基本量をキャプチャしながら、微細スケールの細孔構造の同時解像度を必要とします。
EDMフレームワーク内で動作する潜在的な拡散モデルを通じて、この課題に対処する計算フレームワークを紹介します。
私たちのアプローチは、バイナリ地質学的ボリュームでトレーニングされたカスタムバリエーションオートエンコーダーを介して次元を減らし、効率を改善し、拡散モデルで以前よりも可能なよりも大きなボリュームの生成を可能にします。
重要な革新は、制御された無条件のサンプリング方法論であり、経験的分布から最初のターゲット統計をサンプリングし、次にこれらの値を条件付けたサンプルを生成することにより、分布カバレッジを強化します。
4つの異なる岩型の広範なテストは、透過性、2点相関関数、細孔サイズの分布を含む複数の複雑な特性の一貫した表現を確保するのに十分であることを示しています。
このフレームワークは、ピクセルスペースの拡散よりも優れた世代の品質を実現し、大幅に大きなボリューム再構成（256キューブボクセル）を実質的に削減し、デジタルロック物理学アプリケーション向けの新しい最先端を確立します。

要約(オリジナル)

Three-dimensional digital reconstruction of porous media presents a fundamental challenge in geoscience, requiring simultaneous resolution of fine-scale pore structures while capturing representative elementary volumes. We introduce a computational framework that addresses this challenge through latent diffusion models operating within the EDM framework. Our approach reduces dimensionality via a custom variational autoencoder trained in binary geological volumes, improving efficiency and also enabling the generation of larger volumes than previously possible with diffusion models. A key innovation is our controlled unconditional sampling methodology, which enhances distribution coverage by first sampling target statistics from their empirical distributions, then generating samples conditioned on these values. Extensive testing on four distinct rock types demonstrates that conditioning on porosity – a readily computable statistic – is sufficient to ensure a consistent representation of multiple complex properties, including permeability, two-point correlation functions, and pore size distributions. The framework achieves better generation quality than pixel-space diffusion while enabling significantly larger volume reconstruction (256-cube voxels) with substantially reduced computational requirements, establishing a new state-of-the-art for digital rock physics applications.

arxiv情報

著者 Danilo Naiff,Bernardo P. Schaeffer,Gustavo Pires,Dragan Stojkovic,Thomas Rapstine,Fabio Ramos
発行日 2025-04-07 14:41:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.geo-ph | Controlled Latent Diffusion Models for 3D Porous Media Reconstruction はコメントを受け付けていません

Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning

投稿日: 2025年4月8日 作成者: jarxiv

要約

Federated Learning（FL）により、Edge Devicesはローカルデータを共有せずにモデルを協力して訓練できます。
FLが人気を得るにつれて、クライアントは複数の無関係なFLモデルをトレーニングする必要がある場合がありますが、コミュニケーションの制約により、すべてのモデルを同時にトレーニングする能力が制限されます。
クライアントはFLモデルを順番にトレーニングできますが、日和見的にFLクライアントが異なるモデル（MMFL）と呼ばれるさまざまなモデルを同時にトレーニングすることができますが、全体的なトレーニング時間を短縮できます。
以前の作業では、トレーニングの過程で各モデルへの各クライアントの貢献を最適化しないシンプルなクライアントからモデルへの割り当てを使用しています。
シングルモデルFLでの以前の作業は、インテリジェントなクライアントの選択が収束を大幅に加速できることを示していますが、MMFLへのna \ ‘ive拡張は、サーバーとクライアントの両方で不均一なリソースの制約に違反する可能性があります。
この作業では、任意のクライアントサンプリング方法を使用したMMFLの新しい収束分析を開発し、以前の定評のあるグラデーションベースの方法の強みと制限を理論的に実証します。
この分析に動機付けられて、MMFL-LVRを提案します。MMFL-LVRは、サーバーの通信制限を明示的に尊重し、クライアントの計算コストを削減しながら、トレーニングの差異を最小限に抑える損失ベースのサンプリング方法です。
これをMMFL-Stalevrに拡張します。これには、効率と安定性が向上するための古い更新と、低オーバーヘッドの展開に適した軽量バリアントであるMMFL-Stalevreが組み込まれています。
実験では、ランダムサンプリングよりも平均精度が最大19.1％向上し、理論的最適（フルクライアント参加）からのギャップは5.4％しかないことが示されています。

要約(オリジナル)

Federated learning (FL) allows edge devices to collaboratively train models without sharing local data. As FL gains popularity, clients may need to train multiple unrelated FL models, but communication constraints limit their ability to train all models simultaneously. While clients could train FL models sequentially, opportunistically having FL clients concurrently train different models — termed multi-model federated learning (MMFL) — can reduce the overall training time. Prior work uses simple client-to-model assignments that do not optimize the contribution of each client to each model over the course of its training. Prior work on single-model FL shows that intelligent client selection can greatly accelerate convergence, but na\’ive extensions to MMFL can violate heterogeneous resource constraints at both the server and the clients. In this work, we develop a novel convergence analysis of MMFL with arbitrary client sampling methods, theoretically demonstrating the strengths and limitations of previous well-established gradient-based methods. Motivated by this analysis, we propose MMFL-LVR, a loss-based sampling method that minimizes training variance while explicitly respecting communication limits at the server and reducing computational costs at the clients. We extend this to MMFL-StaleVR, which incorporates stale updates for improved efficiency and stability, and MMFL-StaleVRE, a lightweight variant suitable for low-overhead deployment. Experiments show our methods improve average accuracy by up to 19.1% over random sampling, with only a 5.4% gap from the theoretical optimum (full client participation).

arxiv情報

著者 Haoran Zhang,Zejun Gong,Zekai Li,Marie Siew,Carlee Joe-Wong,Rachid El-Azouzi
発行日 2025-04-07 14:43:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG, I.2.11 | Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning はコメントを受け付けていません

Unifying Physics- and Data-Driven Modeling via Novel Causal Spatiotemporal Graph Neural Network for Interpretable Epidemic Forecasting

投稿日: 2025年4月8日 作成者: jarxiv

要約

正確な流行予測は、効果的な疾病管理と予防のために重要です。
従来のコンパートメントモデルは、しばしば一時的および空間的に変化する疫学的パラメーターを推定するのに苦労しますが、ディープラーニングモデルは通常、病気の伝播のダイナミクスを見落とし、疫学的文脈での解釈性を欠いています。
これらの制限に対処するために、Spatio-Contact SIRモデルをグラフニューラルネットワーク（GNNS）と統合して流行の時空間的伝播をキャプチャするハイブリッドフレームワークである、新しい因果空間グラフニューラルネットワーク（CSTGNN）を提案します。
領域間の人間の移動性は、継続的かつ滑らかな時空間パターンを示し、根底にあるモビリティダイナミクスを共有する隣接するグラフ構造につながります。
これらのダイナミクスをモデル化するために、適応的な静的接続グラフを使用して、人間の移動性の安定した成分を表し、時間的ダイナミクスモデルを利用してこれらのパターン内の変動をキャプチャします。
適応型静的接続グラフをThe Tomeal Dynamicsグラフと統合することにより、人間のモビリティネットワークの包括的な特性をカプセル化する動的グラフを構築します。
さらに、時間的傾向と感染症の拡散の変動を捉えるために、時間的依存を処理するための時間的分解モデルを導入します。
このモデルは、流行予測のための動的グラフ畳み込みネットワークと統合されます。
中国の州レベルとドイツの州レベルでの実際のデータセットを使用してモデルを検証します。
広範な研究は、私たちの方法が感染症の時空間的ダイナミクスを効果的にモデル化し、予測と介入戦略のための貴重なツールを提供することを実証しています。
さらに、学習したパラメーターの分析は、病気の伝播メカニズムに関する洞察を提供し、モデルの解釈可能性と実用的な適用性を高めます。

要約(オリジナル)

Accurate epidemic forecasting is crucial for effective disease control and prevention. Traditional compartmental models often struggle to estimate temporally and spatially varying epidemiological parameters, while deep learning models typically overlook disease transmission dynamics and lack interpretability in the epidemiological context. To address these limitations, we propose a novel Causal Spatiotemporal Graph Neural Network (CSTGNN), a hybrid framework that integrates a Spatio-Contact SIR model with Graph Neural Networks (GNNs) to capture the spatiotemporal propagation of epidemics. Inter-regional human mobility exhibits continuous and smooth spatiotemporal patterns, leading to adjacent graph structures that share underlying mobility dynamics. To model these dynamics, we employ an adaptive static connectivity graph to represent the stable components of human mobility and utilize a temporal dynamics model to capture fluctuations within these patterns. By integrating the adaptive static connectivity graph with the temporal dynamics graph, we construct a dynamic graph that encapsulates the comprehensive properties of human mobility networks. Additionally, to capture temporal trends and variations in infectious disease spread, we introduce a temporal decomposition model to handle temporal dependence. This model is then integrated with a dynamic graph convolutional network for epidemic forecasting. We validate our model using real-world datasets at the provincial level in China and the state level in Germany. Extensive studies demonstrate that our method effectively models the spatiotemporal dynamics of infectious diseases, providing a valuable tool for forecasting and intervention strategies. Furthermore, analysis of the learned parameters offers insights into disease transmission mechanisms, enhancing the interpretability and practical applicability of our model.

arxiv情報

著者 Shuai Han,Lukas Stelz,Thomas R. Sokolowski,Kai Zhou,Horst Stöcker
発行日 2025-04-07 14:46:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T07, 92D30, cs.LG, I.2.6, physics.soc-ph, q-bio.QM, stat.ML | Unifying Physics- and Data-Driven Modeling via Novel Causal Spatiotemporal Graph Neural Network for Interpretable Epidemic Forecasting はコメントを受け付けていません

Online Cluster-Based Parameter Control for Metaheuristic

投稿日: 2025年4月8日 作成者: jarxiv

要約

パラメーターの設定の概念は、成績に主に影響を与える可能性があるため、メタヒューリスティックにおける重要かつ重要なプロセスです。
最適化アルゴリズムと手元の最適化の問題を深く理解する必要があるため、非常に複雑で挑戦的な手順です。
近年、今後の自律決定システムの台頭は、かなりの数のパラメーター調整方法を利用して、この方向に継続的な科学的関心を集めています。
方法には、オフラインとオンラインの2つのタイプがあります。
通常、オンラインメソッドは、アルゴリズムの実行中に動的なパラメーター制御を提供できるため、複雑な現実世界の問題に優れています。
現在の研究は、人口ベースのメタヒューリスティックのためのクラスターベースのパラメーター適応（CPA）と呼ばれる汎用オンラインパラメーター調整法を提案しています。
主なアイデアは、パラメーター検索スペース内の有望な領域の識別と、これらの領域の周りの新しいパラメーターの生成にあります。
この方法の妥当性は、微分進化アルゴリズムを使用して実証されており、低次元および高次元の問題の確立されたテストスイートで検証されています。
得られた結果は統計的に分析され、高度な自動調整アプローチを含む最先端のアルゴリズムと比較されます。
この分析は、有望なCPAのパフォーマンスと、さまざまなベンチマークの問題と寸法の下での堅牢性を明らかにしています。

要約(オリジナル)

The concept of parameter setting is a crucial and significant process in metaheuristics since it can majorly impact their performance. It is a highly complex and challenging procedure since it requires a deep understanding of the optimization algorithm and the optimization problem at hand. In recent years, the upcoming rise of autonomous decision systems has attracted ongoing scientific interest in this direction, utilizing a considerable number of parameter-tuning methods. There are two types of methods: offline and online. Online methods usually excel in complex real-world problems, as they can offer dynamic parameter control throughout the execution of the algorithm. The present work proposes a general-purpose online parameter-tuning method called Cluster-Based Parameter Adaptation (CPA) for population-based metaheuristics. The main idea lies in the identification of promising areas within the parameter search space and in the generation of new parameters around these areas. The method’s validity has been demonstrated using the differential evolution algorithm and verified in established test suites of low- and high-dimensional problems. The obtained results are statistically analyzed and compared with state-of-the-art algorithms, including advanced auto-tuning approaches. The analysis reveals the promising solid CPA’s performance as well as its robustness under a variety of benchmark problems and dimensions.

arxiv情報

著者 Vasileios A. Tatsis,Dimos Ioannidis
発行日 2025-04-07 14:48:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Online Cluster-Based Parameter Control for Metaheuristic はコメントを受け付けていません

Pr$εε$mpt: Sanitizing Sensitive Prompts for LLMs

投稿日: 2025年4月8日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の台頭により、特にプロンプ​​トの機密情報が独自のLLM APIにさらされる可能性のある推論中に、新しいプライバシーの課題が導入されました。
この論文では、応答品質を維持しながら、プロンプトに含まれる機密情報を正式に保護する問題に対処します。
この目的のために、最初に、敏感なトークンを保護するために入力プロンプトを変換するプロンプト消毒剤の暗号化に触発された概念を紹介します。
第二に、迅速な消毒剤を実装する新しいシステムであるpr $ \ epsilon \ epsilon $ mptを提案します。
pr $ \ epsilon \ epsilon $ mptは、敏感なトークンを2つのタイプに分類します。（1）LLMの応答は、形式（SSNS、クレジットカード番号など）のみに依存します。
（2）応答が特定の値（年齢、給与など）に依存している場合が、メトリックの差動プライバシー（MDP）を適用します。
私たちの評価は、pr $ \ epsilon \ epsilon $ mptが意味のあるプライバシー保証を達成するための実用的な方法でありながら、非劣化プロンプトと比較して高いユーティリティを維持し、以前の方法を上回る実用的な方法であることを示しています。

要約(オリジナル)

The rise of large language models (LLMs) has introduced new privacy challenges, particularly during inference where sensitive information in prompts may be exposed to proprietary LLM APIs. In this paper, we address the problem of formally protecting the sensitive information contained in a prompt while maintaining response quality. To this end, first, we introduce a cryptographically inspired notion of a prompt sanitizer which transforms an input prompt to protect its sensitive tokens. Second, we propose Pr$\epsilon\epsilon$mpt, a novel system that implements a prompt sanitizer. Pr$\epsilon\epsilon$mpt categorizes sensitive tokens into two types: (1) those where the LLM’s response depends solely on the format (such as SSNs, credit card numbers), for which we use format-preserving encryption (FPE); and (2) those where the response depends on specific values, (such as age, salary) for which we apply metric differential privacy (mDP). Our evaluation demonstrates that Pr$\epsilon\epsilon$mpt is a practical method to achieve meaningful privacy guarantees, while maintaining high utility compared to unsanitized prompts, and outperforming prior methods

arxiv情報

著者 Amrita Roy Chowdhury,David Glukhov,Divyam Anshumaan,Prasad Chalasani,Nicolas Papernot,Somesh Jha,Mihir Bellare
発行日 2025-04-07 14:52:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Pr$εε$mpt: Sanitizing Sensitive Prompts for LLMs はコメントを受け付けていません

SparsyFed: Sparse Adaptive Federated Training

投稿日: 2025年4月8日 作成者: jarxiv

要約

クロスデバイスフェデレートラーニング（FL）環境では、疎なトレーニングが採用されることがよくあります。この環境では、制約されたデバイスが、異種ネットワーク全体で擬似勾配を交換することにより、プライベートデータの機械学習モデルを協力してトレーニングします。
まばらなトレーニング方法は、フロリダ州の通信と計算の負担を軽減することができますが、以下の主な理由で実際には使用されないことがよくあります。（1）データの不均一性により、クライアントが密集したモデルと比較してスパースモデルのコンセンサスに達することが難しくなり、より長いトレーニングが必要です。
（2）スパースマスクを取得する方法は、非常に不均一なデータ分布に対応するための適応性を欠いており、クロスデバイスFLで重要です。
（3）追加のハイパーパラメーターが必要です。これは、FLで調整するのが特に困難です。
このペーパーでは、上記の問題に批判的に対処する実用的なフェデレーションスパーストレーニング方法であるSparsyfedを紹介します。
以前の作品は、マスクとスパースパターンの適応性に関するクライアントのコンセンサスなど、新しいトレードオフを導入することを犠牲にして、これらの課題の1つまたは2つのみを解決してきました。
Sparsyfedは同時に（1）95％のスパースモデルを生成し、精度は無視できる分解で、単一のハイパーパラメーターのみが必要であることを示しています。

要約(オリジナル)

Sparse training is often adopted in cross-device federated learning (FL) environments where constrained devices collaboratively train a machine learning model on private data by exchanging pseudo-gradients across heterogeneous networks. Although sparse training methods can reduce communication overhead and computational burden in FL, they are often not used in practice for the following key reasons: (1) data heterogeneity makes it harder for clients to reach consensus on sparse models compared to dense ones, requiring longer training; (2) methods for obtaining sparse masks lack adaptivity to accommodate very heterogeneous data distributions, crucial in cross-device FL; and (3) additional hyperparameters are required, which are notably challenging to tune in FL. This paper presents SparsyFed, a practical federated sparse training method that critically addresses the problems above. Previous works have only solved one or two of these challenges at the expense of introducing new trade-offs, such as clients’ consensus on masks versus sparsity pattern adaptivity. We show that SparsyFed simultaneously (1) can produce 95% sparse models, with negligible degradation in accuracy, while only needing a single hyperparameter, (2) achieves a per-round weight regrowth 200 times smaller than previous methods, and (3) allows the sparse masks to adapt to highly heterogeneous data distributions and outperform all baselines under such conditions.

arxiv情報

著者 Adriano Guastella,Lorenzo Sani,Alex Iacob,Alessio Mora,Paolo Bellavista,Nicholas D. Lane
発行日 2025-04-07 14:57:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SparsyFed: Sparse Adaptive Federated Training はコメントを受け付けていません

DDPM Score Matching and Distribution Learning

投稿日: 2025年4月8日 作成者: jarxiv

要約

スコアの推定は、スコアベースの生成モデル（SGM）のバックボーン、特に拡散確率モデル（DDPMS）を除去します。
この領域の重要な結果は、正確なスコア推定で、SGMが現実的なデータ分布からサンプルを効率的に生成できることを示しています（Chen et al。、Iclr’23; Lee et al。、alt’23）。
学習された分布がサンプラーの出力の分布と暗黙的にある場合、この分布学習結果は、スコアの推定がパラメーターと密度の推定の古典的なタスクにどのように関連するかを説明していません。
このペーパーでは、これら2つのタスクのスコア推定を減らすフレームワークを紹介し、統計学習および計算学習理論にさまざまな意味を持ちます。パラメーター推定：Koehler et al。
（ICLR’23）スコアマッチングバリアントは、実際に一般的なマルチモーダル密度のパラメトリック推定に対して統計的に非効率的であることを示しています。
対照的に、穏やかな条件下では、DDPMSでのスコアマッチングの形成が漸近的に効率的であることを示しています。
密度の推定：生成をリンクするためにスコア推定をリンクすることにより、既存のスコア推定保証を$（\ epsilon、\ delta）$ – PAC密度推定、つまり、$ \ delta $ ractionを除くすべての$ \ epsilon $内のターゲットログ密度を近似する関数に$（\ epsilon、\ delta）$に持ち上げます。
（i）h \ ‘古いクラスにわたる密度推定のミニマックスレート、および（ii）古典的なガウス位置混合モデルの準正式PAC密度推定アルゴリズムを提供し、Gatmiry et al。
（arxiv’24）。
スコア推定の下限：私たちのフレームワークは、一般的な分布全体でスコア推定の計算下限を証明するための最初の原則的な方法を提供します。
アプリケーションとして、一般的なガウス混合モデルでスコア推定の暗号化の下限を確立し、概念的に曲（neurips’24）の結果を回復し、彼の重要なオープンな問題を促進します。

要約(オリジナル)

Score estimation is the backbone of score-based generative models (SGMs), especially denoising diffusion probabilistic models (DDPMs). A key result in this area shows that with accurate score estimates, SGMs can efficiently generate samples from any realistic data distribution (Chen et al., ICLR’23; Lee et al., ALT’23). This distribution learning result, where the learned distribution is implicitly that of the sampler’s output, does not explain how score estimation relates to classical tasks of parameter and density estimation. This paper introduces a framework that reduces score estimation to these two tasks, with various implications for statistical and computational learning theory: Parameter Estimation: Koehler et al. (ICLR’23) demonstrate that a score-matching variant is statistically inefficient for the parametric estimation of multimodal densities common in practice. In contrast, we show that under mild conditions, denoising score-matching in DDPMs is asymptotically efficient. Density Estimation: By linking generation to score estimation, we lift existing score estimation guarantees to $(\epsilon,\delta)$-PAC density estimation, i.e., a function approximating the target log-density within $\epsilon$ on all but a $\delta$-fraction of the space. We provide (i) minimax rates for density estimation over H\’older classes and (ii) a quasi-polynomial PAC density estimation algorithm for the classical Gaussian location mixture model, building on and addressing an open problem from Gatmiry et al. (arXiv’24). Lower Bounds for Score Estimation: Our framework offers the first principled method to prove computational lower bounds for score estimation across general distributions. As an application, we establish cryptographic lower bounds for score estimation in general Gaussian mixture models, conceptually recovering Song’s (NeurIPS’24) result and advancing his key open problem.

arxiv情報

著者 Sinho Chewi,Alkis Kalavasis,Anay Mehrotra,Omar Montasser
発行日 2025-04-07 15:07:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG, math.ST, stat.ML, stat.TH | DDPM Score Matching and Distribution Learning はコメントを受け付けていません

Machine learning interatomic potential can infer electrical response

投稿日: 2025年4月8日 作成者: jarxiv

要約

材料と化学システムの電界に対する反応をモデル化することは、長年の課題のままです。
機械学習間原子間ポテンシャル（MLIP）は、量子機械的方法に効率的でスケーラブルな代替品を提供しますが、電気的応答を組み込んでいません。
ここでは、エネルギーと力データからのみ学習することによって、潜在的なEwald Summation（LES）フレームワーク内の長距離MLIPから、偏光と生まれた有効電荷（BEC）テンソルを直接抽出できることを示します。
このアプローチを使用して、ゼロまたは有限の外部電界下でのバルク水の赤外線スペクトル、高圧スーパーイオン氷のイオン導電率、および強誘電性PBTIO $ _3 $ペロブスカイトの相転移とヒステリシスを予測します。
したがって、この作業は、電荷や偏光、またはBECでのトレーニングを予測するためにMLIPの能力を拡張し、大規模な多様なシステムでの電気フィールド駆動型プロセスの正確なモデリングを可能にします。

要約(オリジナル)

Modeling the response of material and chemical systems to electric fields remains a longstanding challenge. Machine learning interatomic potentials (MLIPs) offer an efficient and scalable alternative to quantum mechanical methods but do not by themselves incorporate electrical response. Here, we show that polarization and Born effective charge (BEC) tensors can be directly extracted from long-range MLIPs within the Latent Ewald Summation (LES) framework, solely by learning from energy and force data. Using this approach, we predict the infrared spectra of bulk water under zero or finite external electric fields, ionic conductivities of high-pressure superionic ice, and the phase transition and hysteresis in ferroelectric PbTiO$_3$ perovskite. This work thus extends the capability of MLIPs to predict electrical response–without training on charges or polarization or BECs–and enables accurate modeling of electric-field-driven processes in diverse systems at scale.

arxiv情報

著者 Peichen Zhong,Dongjin Kim,Daniel S. King,Bingqing Cheng
発行日 2025-04-07 15:14:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.LG, physics.chem-ph, physics.comp-ph | Machine learning interatomic potential can infer electrical response はコメントを受け付けていません

Learning symmetries in datasets

投稿日: 2025年4月8日 作成者: jarxiv

要約

データセットに存在する対称性が、変分自動エンコーダー（VAE）によって学習された潜在空間の構造にどのように影響するかを調査します。
単純な機械システムと粒子衝突に由来するデータに関するVAEをトレーニングすることにより、最も意味のある潜在的方向を識別する関連測定を通じて、潜在空間の構成を分析します。
対称性または近似対称性が存在する場合、VAEは潜在空間を自己組織化し、潜在変数の数の減少に沿ってデータを効果的に圧縮することを示します。
この動作は、対称性の制約によって決定される固有の次元をキャプチャし、特徴間の隠れた関係を明らかにします。
さらに、単純なおもちゃモデルの理論的分析を提供し、理想化された条件下で、潜在空間がデータマニホールドの対称方向にどのように整合するかを示します。
これらの調査結果を、2次元データセットから$ o（2）$対称性を持つ2次元データセットから、電子ポジトロンおよびプロトンプロトン衝突からの現実的なデータセットまでの範囲で説明します。
私たちの結果は、監視されていない生成モデルがデータの基礎となる構造を公開する可能性を強調し、明示的な監督なしで対称的発見に対する新しいアプローチを提供します。

要約(オリジナル)

We investigate how symmetries present in datasets affect the structure of the latent space learned by Variational Autoencoders (VAEs). By training VAEs on data originating from simple mechanical systems and particle collisions, we analyze the organization of the latent space through a relevance measure that identifies the most meaningful latent directions. We show that when symmetries or approximate symmetries are present, the VAE self-organizes its latent space, effectively compressing the data along a reduced number of latent variables. This behavior captures the intrinsic dimensionality determined by the symmetry constraints and reveals hidden relations among the features. Furthermore, we provide a theoretical analysis of a simple toy model, demonstrating how, under idealized conditions, the latent space aligns with the symmetry directions of the data manifold. We illustrate these findings with examples ranging from two-dimensional datasets with $O(2)$ symmetry to realistic datasets from electron-positron and proton-proton collisions. Our results highlight the potential of unsupervised generative models to expose underlying structures in data and offer a novel approach to symmetry discovery without explicit supervision.

arxiv情報

著者 Veronica Sanz
発行日 2025-04-07 15:17:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ph | Learning symmetries in datasets はコメントを受け付けていません

A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

投稿日: 2025年4月8日 作成者: jarxiv

要約

Deep Learning（DL）の最近の傾向により、ハードウェアアクセラレータは、画像分類、コンピュータービジョン、音声認識など、さまざまな高性能コンピューティング（HPC）アプリケーションに不可欠になっています。
この調査では、HPCアプリケーションのパフォーマンス需要を満たす役割に焦点を当てたDL加速器の最新の開発を要約および分類します。
GPUおよびTPUベースのプラットフォームだけでなく、FPGAおよびASICベースの加速器、神経加工ユニット、オープンハードウェアRISC-Vベースのアクセラレータ、共同プロセッサなどの特殊なハードウェアもカバーするDL加速度への最先端のアプローチを探ります。
この調査では、3Dスタッキングプロセッサーのメモリ、抵抗性RAMなどの非揮発性メモリ、インメモリコンピューティングに使用される位相変化メモリ、神経型加工ユニット、マルチチップモジュールベースのアクセラレータなど、新しいメモリテクノロジーとコンピューティングパラダイムを活用する加速器についても説明しています。
さらに、新しい量子ベースの加速器とフォトニクスに関する洞察を提供します。
最後に、この調査は、近年の最も影響力のあるアーキテクチャとテクノロジーを分類し、読者に深い学習加速の急速に進化する分野に関する包括的な視点を提供します。

要約(オリジナル)

Recent trends in deep learning (DL) have made hardware accelerators essential for various high-performance computing (HPC) applications, including image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent developments in DL accelerators, focusing on their role in meeting the performance demands of HPC applications. We explore cutting-edge approaches to DL acceleration, covering not only GPU- and TPU-based platforms but also specialized hardware such as FPGA- and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators, and co-processors. This survey also describes accelerators leveraging emerging memory technologies and computing paradigms, including 3D-stacked Processor-In-Memory, non-volatile memories like Resistive RAM and Phase Change Memories used for in-memory computing, as well as Neuromorphic Processing Units, and Multi-Chip Module-based accelerators. Furthermore, we provide insights into emerging quantum-based accelerators and photonics. Finally, this survey categorizes the most influential architectures and technologies from recent years, offering readers a comprehensive perspective on the rapidly evolving field of deep learning acceleration.

arxiv情報

著者 Cristina Silvano,Daniele Ielmini,Fabrizio Ferrandi,Leandro Fiorin,Serena Curzel,Luca Benini,Francesco Conti,Angelo Garofalo,Cristian Zambelli,Enrico Calore,Sebastiano Fabio Schifano,Maurizio Palesi,Giuseppe Ascia,Davide Patti,Nicola Petra,Davide De Caro,Luciano Lavagno,Teodoro Urso,Valeria Cardellini,Gian Carlo Cardarilli,Robert Birke,Stefania Perri
発行日 2025-04-07 15:49:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AR, cs.ET, cs.LG | A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms はコメントを受け付けていません