SparsyFed: Sparse Adaptive Federated Training

投稿日: 2025年4月8日 作成者: jarxiv

要約

クロスデバイスフェデレートラーニング（FL）環境では、疎なトレーニングが採用されることがよくあります。この環境では、制約されたデバイスが、異種ネットワーク全体で擬似勾配を交換することにより、プライベートデータの機械学習モデルを協力してトレーニングします。
まばらなトレーニング方法は、フロリダ州の通信と計算の負担を軽減することができますが、以下の主な理由で実際には使用されないことがよくあります。（1）データの不均一性により、クライアントが密集したモデルと比較してスパースモデルのコンセンサスに達することが難しくなり、より長いトレーニングが必要です。
（2）スパースマスクを取得する方法は、非常に不均一なデータ分布に対応するための適応性を欠いており、クロスデバイスFLで重要です。
（3）追加のハイパーパラメーターが必要です。これは、FLで調整するのが特に困難です。
このペーパーでは、上記の問題に批判的に対処する実用的なフェデレーションスパーストレーニング方法であるSparsyfedを紹介します。
以前の作品は、マスクとスパースパターンの適応性に関するクライアントのコンセンサスなど、新しいトレードオフを導入することを犠牲にして、これらの課題の1つまたは2つのみを解決してきました。
Sparsyfedは同時に（1）95％のスパースモデルを生成し、精度は無視できる分解で、単一のハイパーパラメーターのみが必要であることを示しています。

要約(オリジナル)

Sparse training is often adopted in cross-device federated learning (FL) environments where constrained devices collaboratively train a machine learning model on private data by exchanging pseudo-gradients across heterogeneous networks. Although sparse training methods can reduce communication overhead and computational burden in FL, they are often not used in practice for the following key reasons: (1) data heterogeneity makes it harder for clients to reach consensus on sparse models compared to dense ones, requiring longer training; (2) methods for obtaining sparse masks lack adaptivity to accommodate very heterogeneous data distributions, crucial in cross-device FL; and (3) additional hyperparameters are required, which are notably challenging to tune in FL. This paper presents SparsyFed, a practical federated sparse training method that critically addresses the problems above. Previous works have only solved one or two of these challenges at the expense of introducing new trade-offs, such as clients’ consensus on masks versus sparsity pattern adaptivity. We show that SparsyFed simultaneously (1) can produce 95% sparse models, with negligible degradation in accuracy, while only needing a single hyperparameter, (2) achieves a per-round weight regrowth 200 times smaller than previous methods, and (3) allows the sparse masks to adapt to highly heterogeneous data distributions and outperform all baselines under such conditions.

arxiv情報

著者 Adriano Guastella,Lorenzo Sani,Alex Iacob,Alessio Mora,Paolo Bellavista,Nicholas D. Lane
発行日 2025-04-07 14:57:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SparsyFed: Sparse Adaptive Federated Training はコメントを受け付けていません

DDPM Score Matching and Distribution Learning

投稿日: 2025年4月8日 作成者: jarxiv

要約

スコアの推定は、スコアベースの生成モデル（SGM）のバックボーン、特に拡散確率モデル（DDPMS）を除去します。
この領域の重要な結果は、正確なスコア推定で、SGMが現実的なデータ分布からサンプルを効率的に生成できることを示しています（Chen et al。、Iclr’23; Lee et al。、alt’23）。
学習された分布がサンプラーの出力の分布と暗黙的にある場合、この分布学習結果は、スコアの推定がパラメーターと密度の推定の古典的なタスクにどのように関連するかを説明していません。
このペーパーでは、これら2つのタスクのスコア推定を減らすフレームワークを紹介し、統計学習および計算学習理論にさまざまな意味を持ちます。パラメーター推定：Koehler et al。
（ICLR’23）スコアマッチングバリアントは、実際に一般的なマルチモーダル密度のパラメトリック推定に対して統計的に非効率的であることを示しています。
対照的に、穏やかな条件下では、DDPMSでのスコアマッチングの形成が漸近的に効率的であることを示しています。
密度の推定：生成をリンクするためにスコア推定をリンクすることにより、既存のスコア推定保証を$（\ epsilon、\ delta）$ – PAC密度推定、つまり、$ \ delta $ ractionを除くすべての$ \ epsilon $内のターゲットログ密度を近似する関数に$（\ epsilon、\ delta）$に持ち上げます。
（i）h \ ‘古いクラスにわたる密度推定のミニマックスレート、および（ii）古典的なガウス位置混合モデルの準正式PAC密度推定アルゴリズムを提供し、Gatmiry et al。
（arxiv’24）。
スコア推定の下限：私たちのフレームワークは、一般的な分布全体でスコア推定の計算下限を証明するための最初の原則的な方法を提供します。
アプリケーションとして、一般的なガウス混合モデルでスコア推定の暗号化の下限を確立し、概念的に曲（neurips’24）の結果を回復し、彼の重要なオープンな問題を促進します。

要約(オリジナル)

Score estimation is the backbone of score-based generative models (SGMs), especially denoising diffusion probabilistic models (DDPMs). A key result in this area shows that with accurate score estimates, SGMs can efficiently generate samples from any realistic data distribution (Chen et al., ICLR’23; Lee et al., ALT’23). This distribution learning result, where the learned distribution is implicitly that of the sampler’s output, does not explain how score estimation relates to classical tasks of parameter and density estimation. This paper introduces a framework that reduces score estimation to these two tasks, with various implications for statistical and computational learning theory: Parameter Estimation: Koehler et al. (ICLR’23) demonstrate that a score-matching variant is statistically inefficient for the parametric estimation of multimodal densities common in practice. In contrast, we show that under mild conditions, denoising score-matching in DDPMs is asymptotically efficient. Density Estimation: By linking generation to score estimation, we lift existing score estimation guarantees to $(\epsilon,\delta)$-PAC density estimation, i.e., a function approximating the target log-density within $\epsilon$ on all but a $\delta$-fraction of the space. We provide (i) minimax rates for density estimation over H\’older classes and (ii) a quasi-polynomial PAC density estimation algorithm for the classical Gaussian location mixture model, building on and addressing an open problem from Gatmiry et al. (arXiv’24). Lower Bounds for Score Estimation: Our framework offers the first principled method to prove computational lower bounds for score estimation across general distributions. As an application, we establish cryptographic lower bounds for score estimation in general Gaussian mixture models, conceptually recovering Song’s (NeurIPS’24) result and advancing his key open problem.

arxiv情報

著者 Sinho Chewi,Alkis Kalavasis,Anay Mehrotra,Omar Montasser
発行日 2025-04-07 15:07:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG, math.ST, stat.ML, stat.TH | DDPM Score Matching and Distribution Learning はコメントを受け付けていません

Machine learning interatomic potential can infer electrical response

投稿日: 2025年4月8日 作成者: jarxiv

要約

材料と化学システムの電界に対する反応をモデル化することは、長年の課題のままです。
機械学習間原子間ポテンシャル（MLIP）は、量子機械的方法に効率的でスケーラブルな代替品を提供しますが、電気的応答を組み込んでいません。
ここでは、エネルギーと力データからのみ学習することによって、潜在的なEwald Summation（LES）フレームワーク内の長距離MLIPから、偏光と生まれた有効電荷（BEC）テンソルを直接抽出できることを示します。
このアプローチを使用して、ゼロまたは有限の外部電界下でのバルク水の赤外線スペクトル、高圧スーパーイオン氷のイオン導電率、および強誘電性PBTIO $ _3 $ペロブスカイトの相転移とヒステリシスを予測します。
したがって、この作業は、電荷や偏光、またはBECでのトレーニングを予測するためにMLIPの能力を拡張し、大規模な多様なシステムでの電気フィールド駆動型プロセスの正確なモデリングを可能にします。

要約(オリジナル)

Modeling the response of material and chemical systems to electric fields remains a longstanding challenge. Machine learning interatomic potentials (MLIPs) offer an efficient and scalable alternative to quantum mechanical methods but do not by themselves incorporate electrical response. Here, we show that polarization and Born effective charge (BEC) tensors can be directly extracted from long-range MLIPs within the Latent Ewald Summation (LES) framework, solely by learning from energy and force data. Using this approach, we predict the infrared spectra of bulk water under zero or finite external electric fields, ionic conductivities of high-pressure superionic ice, and the phase transition and hysteresis in ferroelectric PbTiO$_3$ perovskite. This work thus extends the capability of MLIPs to predict electrical response–without training on charges or polarization or BECs–and enables accurate modeling of electric-field-driven processes in diverse systems at scale.

arxiv情報

著者 Peichen Zhong,Dongjin Kim,Daniel S. King,Bingqing Cheng
発行日 2025-04-07 15:14:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.LG, physics.chem-ph, physics.comp-ph | Machine learning interatomic potential can infer electrical response はコメントを受け付けていません

Learning symmetries in datasets

投稿日: 2025年4月8日 作成者: jarxiv

要約

データセットに存在する対称性が、変分自動エンコーダー（VAE）によって学習された潜在空間の構造にどのように影響するかを調査します。
単純な機械システムと粒子衝突に由来するデータに関するVAEをトレーニングすることにより、最も意味のある潜在的方向を識別する関連測定を通じて、潜在空間の構成を分析します。
対称性または近似対称性が存在する場合、VAEは潜在空間を自己組織化し、潜在変数の数の減少に沿ってデータを効果的に圧縮することを示します。
この動作は、対称性の制約によって決定される固有の次元をキャプチャし、特徴間の隠れた関係を明らかにします。
さらに、単純なおもちゃモデルの理論的分析を提供し、理想化された条件下で、潜在空間がデータマニホールドの対称方向にどのように整合するかを示します。
これらの調査結果を、2次元データセットから$ o（2）$対称性を持つ2次元データセットから、電子ポジトロンおよびプロトンプロトン衝突からの現実的なデータセットまでの範囲で説明します。
私たちの結果は、監視されていない生成モデルがデータの基礎となる構造を公開する可能性を強調し、明示的な監督なしで対称的発見に対する新しいアプローチを提供します。

要約(オリジナル)

We investigate how symmetries present in datasets affect the structure of the latent space learned by Variational Autoencoders (VAEs). By training VAEs on data originating from simple mechanical systems and particle collisions, we analyze the organization of the latent space through a relevance measure that identifies the most meaningful latent directions. We show that when symmetries or approximate symmetries are present, the VAE self-organizes its latent space, effectively compressing the data along a reduced number of latent variables. This behavior captures the intrinsic dimensionality determined by the symmetry constraints and reveals hidden relations among the features. Furthermore, we provide a theoretical analysis of a simple toy model, demonstrating how, under idealized conditions, the latent space aligns with the symmetry directions of the data manifold. We illustrate these findings with examples ranging from two-dimensional datasets with $O(2)$ symmetry to realistic datasets from electron-positron and proton-proton collisions. Our results highlight the potential of unsupervised generative models to expose underlying structures in data and offer a novel approach to symmetry discovery without explicit supervision.

arxiv情報

著者 Veronica Sanz
発行日 2025-04-07 15:17:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ph | Learning symmetries in datasets はコメントを受け付けていません

A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms

投稿日: 2025年4月8日 作成者: jarxiv

要約

Deep Learning（DL）の最近の傾向により、ハードウェアアクセラレータは、画像分類、コンピュータービジョン、音声認識など、さまざまな高性能コンピューティング（HPC）アプリケーションに不可欠になっています。
この調査では、HPCアプリケーションのパフォーマンス需要を満たす役割に焦点を当てたDL加速器の最新の開発を要約および分類します。
GPUおよびTPUベースのプラットフォームだけでなく、FPGAおよびASICベースの加速器、神経加工ユニット、オープンハードウェアRISC-Vベースのアクセラレータ、共同プロセッサなどの特殊なハードウェアもカバーするDL加速度への最先端のアプローチを探ります。
この調査では、3Dスタッキングプロセッサーのメモリ、抵抗性RAMなどの非揮発性メモリ、インメモリコンピューティングに使用される位相変化メモリ、神経型加工ユニット、マルチチップモジュールベースのアクセラレータなど、新しいメモリテクノロジーとコンピューティングパラダイムを活用する加速器についても説明しています。
さらに、新しい量子ベースの加速器とフォトニクスに関する洞察を提供します。
最後に、この調査は、近年の最も影響力のあるアーキテクチャとテクノロジーを分類し、読者に深い学習加速の急速に進化する分野に関する包括的な視点を提供します。

要約(オリジナル)

Recent trends in deep learning (DL) have made hardware accelerators essential for various high-performance computing (HPC) applications, including image classification, computer vision, and speech recognition. This survey summarizes and classifies the most recent developments in DL accelerators, focusing on their role in meeting the performance demands of HPC applications. We explore cutting-edge approaches to DL acceleration, covering not only GPU- and TPU-based platforms but also specialized hardware such as FPGA- and ASIC-based accelerators, Neural Processing Units, open hardware RISC-V-based accelerators, and co-processors. This survey also describes accelerators leveraging emerging memory technologies and computing paradigms, including 3D-stacked Processor-In-Memory, non-volatile memories like Resistive RAM and Phase Change Memories used for in-memory computing, as well as Neuromorphic Processing Units, and Multi-Chip Module-based accelerators. Furthermore, we provide insights into emerging quantum-based accelerators and photonics. Finally, this survey categorizes the most influential architectures and technologies from recent years, offering readers a comprehensive perspective on the rapidly evolving field of deep learning acceleration.

arxiv情報

著者 Cristina Silvano,Daniele Ielmini,Fabrizio Ferrandi,Leandro Fiorin,Serena Curzel,Luca Benini,Francesco Conti,Angelo Garofalo,Cristian Zambelli,Enrico Calore,Sebastiano Fabio Schifano,Maurizio Palesi,Giuseppe Ascia,Davide Patti,Nicola Petra,Davide De Caro,Luciano Lavagno,Teodoro Urso,Valeria Cardellini,Gian Carlo Cardarilli,Robert Birke,Stefania Perri
発行日 2025-04-07 15:49:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AR, cs.ET, cs.LG | A Survey on Deep Learning Hardware Accelerators for Heterogeneous HPC Platforms はコメントを受け付けていません

On Sinkhorn’s Algorithm and Choice Modeling

投稿日: 2025年4月8日 作成者: jarxiv

要約

Bradley（Terry）を含むLuceの選択に基づいた選択とランキングデータのために、実際に広く使用されている幅広いクラスのモデルの場合、関連する最尤推定問題は、ターゲットの行と列の合計との古典的なマトリックスのバランスの問題に相当することを示します。
この視点は、一見無関係な2つの研究分野の間の扉を開き、選択モデリングの文献の既存のアルゴリズムを、マトリックスバランスのためのシンホーンの有名なアルゴリズムの特別なインスタンスまたはアナログとして統一することができます。
これらの接続からインスピレーションを引き出し、Sinkhornのアルゴリズムの研究に関するいくつかのオープンな問題を解決します。
有限スケーリングマトリックスが存在するたびに、非陰性マトリックスのシンホーンのアルゴリズムのグローバルな線形収束を確立し、加重二部グラフの代数的接続性の観点から線形収束速度を特徴付けます。
さらに、ナイト（2008）の古典的な結果を一般化する、線形収束の鋭い漸近速度を導き出します。
私たちの知る限り、これらは、一般的な非陰性行列と正の辺縁のためのSinkhornのアルゴリズムの最初の定量的線形収束結果です。
私たちの結果は、マトリックスのバランスとシンクホーンのアルゴリズムにおける接続性と直交構造の重要性を強調しています。
より広く言えば、マトリックスのバランスと選択モデリングの間にこの論文で確立する接続は、アイデアのさらなる伝達の動機付けにも役立ち、両方の分野で興味深い結果につながる可能性があります。

要約(オリジナル)

For a broad class of models widely used in practice for choice and ranking data based on Luce’s choice axiom, including the Bradley–Terry–Luce and Plackett–Luce models, we show that the associated maximum likelihood estimation problems are equivalent to a classic matrix balancing problem with target row and column sums. This perspective opens doors between two seemingly unrelated research areas, and allows us to unify existing algorithms in the choice modeling literature as special instances or analogs of Sinkhorn’s celebrated algorithm for matrix balancing. We draw inspirations from these connections and resolve some open problems on the study of Sinkhorn’s algorithm. We establish the global linear convergence of Sinkhorn’s algorithm for non-negative matrices whenever finite scaling matrices exist, and characterize its linear convergence rate in terms of the algebraic connectivity of a weighted bipartite graph. We further derive the sharp asymptotic rate of linear convergence, which generalizes a classic result of Knight (2008). To our knowledge, these are the first quantitative linear convergence results for Sinkhorn’s algorithm for general non-negative matrices and positive marginals. Our results highlight the importance of connectivity and orthogonality structures in matrix balancing and Sinkhorn’s algorithm, which could be of independent interest. More broadly, the connections we establish in this paper between matrix balancing and choice modeling could also help motivate further transmission of ideas and lead to interesting results in both disciplines.

arxiv情報

著者 Zhaonan Qu,Alfred Galichon,Wenzhi Gao,Johan Ugander
発行日 2025-04-07 15:59:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM, math.OC | On Sinkhorn’s Algorithm and Choice Modeling はコメントを受け付けていません

Hybrid machine learning data assimilation for marine biogeochemistry

投稿日: 2025年4月8日 作成者: jarxiv

要約

海洋生物地球化学モデルは、気候変動や人間の活動に対する生態系の反応を推定するだけでなく、予測に重要です。
データ同化（DA）は、これらのモデルを実際の観測と整列させることで改善しますが、モデルの複雑さ、強い非線形性、およびまばらで不確実な観察により、海洋生物地球化学DAは課題に直面しています。
海洋生物地球化学に適用される既存のDAメソッドは、観察されていない変数を効果的に更新するのに苦労していますが、アンサンブルベースの方法は、高複雑さの海洋生物地球化学モデルには計算的に高すぎます。
この研究は、観察された変数と観察されていない変数の間の統計的関係を学習することにより、機械学習（ML）がどのように海洋生物地球化学DAを改善できるかを示しています。
ML駆動型のバランススキームを、北西ヨーロッパの棚の海で海洋生物地球化学を予測するために使用されるシステムの1Dプロトタイプに統合します。
MLは、（i）アンサンブルカルマンフィルターからの「エンドツーエンド」のファッション、分析の増分で、（i）フリーランアンサンブルおよび（ii）からの状態依存性相関を予測するために適用されます。
我々の結果は、MLが運用上使用されているものと同様の単変量スキームと比較した場合、以前に設定されていない変数の更新を大幅に強化することを示しています。
さらに、MLモデルは、新しい場所への中程度の移動性を示します。これは、これらのメソッドを3D運用システムにスケーリングするための重要なステップです。
MLは、海洋生物地球化学DAにおける現在の計算ボトルネックを克服するための明確な経路を提供し、移転性を精製し、トレーニングデータサンプリングを最適化し、大規模な海洋予測のスケーラビリティを評価することは、将来の研究の優先事項であると結論付けています。

要約(オリジナル)

Marine biogeochemistry models are critical for forecasting, as well as estimating ecosystem responses to climate change and human activities. Data assimilation (DA) improves these models by aligning them with real-world observations, but marine biogeochemistry DA faces challenges due to model complexity, strong nonlinearity, and sparse, uncertain observations. Existing DA methods applied to marine biogeochemistry struggle to update unobserved variables effectively, while ensemble-based methods are computationally too expensive for high-complexity marine biogeochemistry models. This study demonstrates how machine learning (ML) can improve marine biogeochemistry DA by learning statistical relationships between observed and unobserved variables. We integrate ML-driven balancing schemes into a 1D prototype of a system used to forecast marine biogeochemistry in the North-West European Shelf seas. ML is applied to predict (i) state-dependent correlations from free-run ensembles and (ii), in an “end-to-end” fashion, analysis increments from an Ensemble Kalman Filter. Our results show that ML significantly enhances updates for previously not-updated variables when compared to univariate schemes akin to those used operationally. Furthermore, ML models exhibit moderate transferability to new locations, a crucial step toward scaling these methods to 3D operational systems. We conclude that ML offers a clear pathway to overcome current computational bottlenecks in marine biogeochemistry DA and that refining transferability, optimizing training data sampling, and evaluating scalability for large-scale marine forecasting, should be future research priorities.

arxiv情報

著者 Ieuan Higgs,Ross Bannister,Jozef Skákala,Alberto Carrassi,Stefano Ciavatta
発行日 2025-04-07 16:04:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph | Hybrid machine learning data assimilation for marine biogeochemistry はコメントを受け付けていません

IAEmu: Learning Galaxy Intrinsic Alignment Correlations

投稿日: 2025年4月8日 作成者: jarxiv

要約

弱いレンズ分析の重要な汚染物質である銀河の固有のアラインメント（IA）は、潮の相互作用と銀河形成プロセスによって駆動される銀河形状の相関から生じます。
正確なIAモデリングは、堅牢な宇宙論的推論には不可欠ですが、現在のアプローチは、非線形スケールまたは高価なシミュレーションで分解する摂動方法に依存しています。
Galaxy Position-Position（$ \ xi $）、位置指向（$ \ omega $）、および方向指向（$ \ eta $）の相関関数とHaloの職業分布（HAD）のモックカタログ（HOD）フレームワークに基づいたMOCKカタログを使用した不確実性を予測するニューラルネットワークベースのエミュレータであるIAEMUを紹介します。
シミュレーションと比較して、IAEMUは、$ \ xi $で約3％、$ \ omega $で約5％を達成し、過剰留置せずに$ \ eta $の確率をキャプチャします。
エミュレータは、アレアトリックと認識論の両方の不確実性を提供し、予測の信頼性が低い地域を特定するのに役立ちます。
また、IllustristNg流分力学シミュレーションデータに適合することにより、非HODアライメント信号への一般化を示します。
完全に微分可能なニューラルネットワークとして、IAEMUは、CPUベースのシミュレーションと比較して、GPUの相関関数へのマッピングHODパラメーターで$ \ sim $ 10,000 $ $ \ times $速度を有効にします。
この加速により、グラデーションベースのサンプリングを介して逆モデリングが促進され、IAEMUがGalaxyバイアスおよびIA研究を伴うIVの弱いレンズ調査のIA研究の強力な代理モデルになります。

要約(オリジナル)

The intrinsic alignments (IA) of galaxies, a key contaminant in weak lensing analyses, arise from correlations in galaxy shapes driven by tidal interactions and galaxy formation processes. Accurate IA modeling is essential for robust cosmological inference, but current approaches rely on perturbative methods that break down on nonlinear scales or on expensive simulations. We introduce IAEmu, a neural network-based emulator that predicts the galaxy position-position ($\xi$), position-orientation ($\omega$), and orientation-orientation ($\eta$) correlation functions and their uncertainties using mock catalogs based on the halo occupation distribution (HOD) framework. Compared to simulations, IAEmu achieves ~3% average error for $\xi$ and ~5% for $\omega$, while capturing the stochasticity of $\eta$ without overfitting. The emulator provides both aleatoric and epistemic uncertainties, helping identify regions where predictions may be less reliable. We also demonstrate generalization to non-HOD alignment signals by fitting to IllustrisTNG hydrodynamical simulation data. As a fully differentiable neural network, IAEmu enables $\sim$10,000$\times$ speed-ups in mapping HOD parameters to correlation functions on GPUs, compared to CPU-based simulations. This acceleration facilitates inverse modeling via gradient-based sampling, making IAEmu a powerful surrogate model for galaxy bias and IA studies with direct applications to Stage IV weak lensing surveys.

arxiv情報

著者 Sneh Pandya,Yuanyuan Yang,Nicholas Van Alfen,Jonathan Blazek,Robin Walters
発行日 2025-04-07 16:19:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: astro-ph.CO, astro-ph.GA, cs.LG | IAEmu: Learning Galaxy Intrinsic Alignment Correlations はコメントを受け付けていません

Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs

投稿日: 2025年4月8日 作成者: jarxiv

要約

Federated Learning（FL）により、さまざまなレベルの不均一性を持つ複数のリソース制約のエッジデバイスが、グローバルモデルを共同で訓練することができます。
ただし、容量が限られているデバイスは、ボトルネックを作成し、モデルの収束を遅くすることができます。
この問題に対処するための効果的なアプローチの1つは、効率的な機能選択方法を使用することです。これにより、通信コストと計算コストを最小限に抑え、苦労しているノードの影響を軽減することで、全体的なリソース需要が削減されます。
既存のフェデレーション機能選択（FFS）メソッドは、FLからの別のステップと見なされるか、サードパーティに依存しています。
これらのアプローチは、計算と通信のオーバーヘッドを増加させ、実際の高次元データセットに対して実用的ではありません。
これに対処するために、\ textIT {動的スパースフェデレート機能の選択}（DSFF）を提示します。これは、通信と計算の両方で効率的な最初の革新的な組み込みFFSです。
提案された方法では、モデルトレーニングで特徴の選択が同時に行われます。
トレーニング中、入力層ニューロン、それらの接続、および非表示層接続は動的に剪定され、再成長し、情報のない機能を排除します。
このプロセスにより、デバイスの計算効率が向上し、ネットワーク通信効率が向上し、グローバルモデルのパフォーマンスが向上します。
生物学、画像、音声、テキストなど、さまざまなドメインからさまざまな次元の9つの実際のデータセットでいくつかの実験が行われます。
現実的な非IIDデータ分布設定の下での結果は、他の最先端のFFSメソッドと比較して、より有益な機能を選択することにより、私たちのアプローチがより有益な機能を選択することにより、より良いトレードオフを達成することを示しています。

要約(オリジナル)

Federated Learning (FL) enables multiple resource-constrained edge devices with varying levels of heterogeneity to collaboratively train a global model. However, devices with limited capacity can create bottlenecks and slow down model convergence. One effective approach to addressing this issue is to use an efficient feature selection method, which reduces overall resource demands by minimizing communication and computation costs, thereby mitigating the impact of struggling nodes. Existing federated feature selection (FFS) methods are either considered as a separate step from FL or rely on a third party. These approaches increase computation and communication overhead, making them impractical for real-world high-dimensional datasets. To address this, we present \textit{Dynamic Sparse Federated Feature Selection} (DSFFS), the first innovative embedded FFS that is efficient in both communication and computation. In the proposed method, feature selection occurs simultaneously with model training. During training, input-layer neurons, their connections, and hidden-layer connections are dynamically pruned and regrown, eliminating uninformative features. This process enhances computational efficiency on devices, improves network communication efficiency, and boosts global model performance. Several experiments are conducted on nine real-world datasets of varying dimensionality from diverse domains, including biology, image, speech, and text. The results under a realistic non-iid data distribution setting show that our approach achieves a better trade-off between accuracy, computation, and communication costs by selecting more informative features compared to other state-of-the-art FFS methods.

arxiv情報

著者 Afsaneh Mahanipour,Hana Khamfroush
発行日 2025-04-07 16:33:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Embedded Federated Feature Selection with Dynamic Sparse Training: Balancing Accuracy-Cost Tradeoffs はコメントを受け付けていません

PEAKS: Selecting Key Training Examples Incrementally via Prediction Error Anchored by Kernel Similarity

投稿日: 2025年4月8日 作成者: jarxiv

要約

深い学習が引き続き、より広大なデータセットによって推進されているため、どの例が一般化にとって最も重要であるかを理解することが重要な問題になりました。
データ選択の進捗状況は続きますが、新たなアプリケーションでは、動的なコンテキストでこの問題を研究する必要があります。
このギャップを埋めるために、インクリメンタルデータ選択（IDS）の問題を提起します。例では、例は連続ストリームとして到着し、完全なデータソースにアクセスせずに選択する必要があります。
この設定では、学習者は、基礎となるタスクを同時に学習しながら、事前定義されたサイズのトレーニングデータセットを徐々に構築する必要があります。
IDSでは、モデル状態に対する新しいサンプルの影響は、特徴空間における幾何学的関係と予測誤差の両方に根本的に依存することがわかります。
この洞察を活用して、IDSに合わせた効率的なデータ選択方法であるピーク（カーネルの類似性によって固定された予測エラー）を提案します。
当社の包括的な評価は、ピークが既存の選択戦略を常に上回ることを示しています。
さらに、トレーニングデータサイズが実際のデータセットで増加するため、ピークはランダム選択よりもますます優れたパフォーマンスリターンを生み出します。

要約(オリジナル)

As deep learning continues to be driven by ever-larger datasets, understanding which examples are most important for generalization has become a critical question. While progress in data selection continues, emerging applications require studying this problem in dynamic contexts. To bridge this gap, we pose the Incremental Data Selection (IDS) problem, where examples arrive as a continuous stream, and need to be selected without access to the full data source. In this setting, the learner must incrementally build a training dataset of predefined size while simultaneously learning the underlying task. We find that in IDS, the impact of a new sample on the model state depends fundamentally on both its geometric relationship in the feature space and its prediction error. Leveraging this insight, we propose PEAKS (Prediction Error Anchored by Kernel Similarity), an efficient data selection method tailored for IDS. Our comprehensive evaluations demonstrate that PEAKS consistently outperforms existing selection strategies. Furthermore, PEAKS yields increasingly better performance returns than random selection as training data size grows on real-world datasets.

arxiv情報

著者 Mustafa Burak Gurbuz,Xingyu Zheng,Constantine Dovrolis
発行日 2025-04-07 16:42:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | PEAKS: Selecting Key Training Examples Incrementally via Prediction Error Anchored by Kernel Similarity はコメントを受け付けていません