Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning

要約

クライアントのデータのプライバシーを維持しながら、ビザンチンのクライアントに回復力を確保することは、フェデレートラーニング(FL)の基本的な課題です。
クライアントのデータが均質である場合、クライアントの勾配の堅牢な集約を確保しながら、安全な集約技術を利用した情報理論的な観点から適切な対策が研究されました。
ただし、使用された対策は、クライアントのデータが不均一である場合に失敗します。
最近隣接する混合などの適切な前処理技術は、最近、不均一な設定でのこれらの対策の性能を向上させることが示されました。
それにもかかわらず、これらの前処理手法は、導入されたプライバシーを提供するメカニズムでは適用することはできません。
検証可能な秘密共有、安全な集約、および情報理論的プライバシー保証とデータの不均一性の下でのビザンチンの回復力を達成するための調整された対称的な個人情報検索スキームの慎重な共同設計を含む多段階の方法を提案します。
さまざまな攻撃に対するスキームの有効性を評価し、以前に既知のテクニックよりも優れていることを示します。
安全な集約の通信オーバーヘッドは無視できないため、最先端のFLタスクの通信コストを削減し、それによりプライベート集約をスケーラブルにするゼロ次の推定方法との相互作用を調査します。

要約(オリジナル)

Ensuring resilience to Byzantine clients while maintaining the privacy of the clients’ data is a fundamental challenge in federated learning (FL). When the clients’ data is homogeneous, suitable countermeasures were studied from an information-theoretic perspective utilizing secure aggregation techniques while ensuring robust aggregation of the clients’ gradients. However, the countermeasures used fail when the clients’ data is heterogeneous. Suitable pre-processing techniques, such as nearest neighbor mixing, were recently shown to enhance the performance of those countermeasures in the heterogeneous setting. Nevertheless, those pre-processing techniques cannot be applied with the introduced privacy-preserving mechanisms. We propose a multi-stage method encompassing a careful co-design of verifiable secret sharing, secure aggregation, and a tailored symmetric private information retrieval scheme to achieve information-theoretic privacy guarantees and Byzantine resilience under data heterogeneity. We evaluate the effectiveness of our scheme on a variety of attacks and show how it outperforms the previously known techniques. Since the communication overhead of secure aggregation is non-negligible, we investigate the interplay with zero-order estimation methods that reduce the communication cost in state-of-the-art FL tasks and thereby make private aggregation scalable.

arxiv情報

著者 Maximilian Egger,Rawad Bitar
発行日 2025-06-11 15:42:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.IT, cs.LG, math.IT, stat.ML | Private Aggregation for Byzantine-Resilient Heterogeneous Federated Learning はコメントを受け付けていません

UmbraTTS: Adapting Text-to-Speech to Environmental Contexts with Flow Matching

要約

テキストからスピーチ(TTS)の最近の進歩により、非常に自然な音声統合が可能になりましたが、スピーチと複雑な背景環境の統合は依然として困難です。
テキストとアコースティックコンテキストを条件付けた音声と環境オーディオの両方を共同で生成するフローマッチングベースのTTSモデルであるUmbrattsを紹介します。
私たちのモデルは、バックグラウンドボリュームを細かく制御でき、多様で、コヒーレントで、コンテキスト対応のオーディオシーンを生成します。
重要な課題は、自然なコンテキストでアラインされた音声とバックグラウンドオーディオのデータがないことです。
ペアのトレーニングデータの欠如を克服するために、発表されていない録音から音声、バックグラウンドオーディオ、およびトランスクリプトを抽出する自己監督のフレームワークを提案します。
広範な評価は、Umbrattsが既存のベースラインを大幅に上回り、自然で高品質の環境的に認識しているオーディオを生成することを示しています。

要約(オリジナル)

Recent advances in Text-to-Speech (TTS) have enabled highly natural speech synthesis, yet integrating speech with complex background environments remains challenging. We introduce UmbraTTS, a flow-matching based TTS model that jointly generates both speech and environmental audio, conditioned on text and acoustic context. Our model allows fine-grained control over background volume and produces diverse, coherent, and context-aware audio scenes. A key challenge is the lack of data with speech and background audio aligned in natural context. To overcome the lack of paired training data, we propose a self-supervised framework that extracts speech, background audio, and transcripts from unannotated recordings. Extensive evaluations demonstrate that UmbraTTS significantly outperformed existing baselines, producing natural, high-quality, environmentally aware audios.

arxiv情報

著者 Neta Glazer,Aviv Navon,Yael Segal,Aviv Shamsian,Hilit Segev,Asaf Buchnick,Menachem Pirchi,Gil Hetz,Joseph Keshet
発行日 2025-06-11 15:43:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SD, eess.AS | UmbraTTS: Adapting Text-to-Speech to Environmental Contexts with Flow Matching はコメントを受け付けていません

Leveraging data-driven weather models for improving numerical weather prediction skill through large-scale spectral nudging

要約

運用上の気象予測は、物理ベースの数値予測(NWP)モデルに長い間依存してきました。
最近、この景観は、データ駆動型の人工知能(AI)ベースの気象モデルの出現により、途方もない計算パフォーマンスと競争の予測精度を提供することにより、混乱に直面しています。
ただし、中距離予測のデータ駆動型モデルは一般に、効果的な解像度や予測変数の狭い範囲など、大きな制限に悩まされています。
この研究では、物理ベースのGEM(グローバル環境マルチスケール)とAIベースのグラフキャストモデルを使用したこれらの競合するパラダイムの相対的な長所と短所を示しています。
物理的およびスペクトル空間におけるそれぞれのグローバルな予測の分析により、グラフキャストによって予測された微細なスケールが過度の平滑化に苦しんでいるにもかかわらず、グラフキャスト予測の大きなスケールは、特に長いリードタイムで宝石を上回ることがわかります。
この洞察に基づいて、ハイブリッドNWP-AIシステムが提案されています。このシステムでは、GEMによって予測される温度と水平風成分は、大きなスケールでのグラフキャスト予測に向けてスペクトル的に微調整されますが、GEM自体はローカルの予測可能性と極端な天候に重要な詳細を自由に生成します。
このハイブリッドアプローチは、グラフキャストの強みを活用して、GEMモデルの予測スキルを強化しながら、フルパワースペクトルで物理的に一貫した予測フィールドの完全なスイートを生成することができます。
さらに、熱帯低気圧の軌跡は、強度を大幅に変化させることなく、精度を強化して予測されます。
カナダの気象センターでのこのハイブリッドシステムの運用化のための作業が進行中です。

要約(オリジナル)

Operational meteorological forecasting has long relied on physics-based numerical weather prediction (NWP) models. Recently, this landscape has faced disruption by the advent of data-driven artificial intelligence (AI)-based weather models, which offer tremendous computational performance and competitive forecasting accuracy. However, data-driven models for medium-range forecasting generally suffer from major limitations, including low effective resolution and a narrow range of predicted variables. This study illustrates the relative strengths and weaknesses of these competing paradigms using the physics-based GEM (Global Environmental Multiscale) and the AI-based GraphCast models. Analyses of their respective global predictions in physical and spectral space reveal that GraphCast-predicted large scales outperform GEM, particularly for longer lead times, even though fine scales predicted by GraphCast suffer from excessive smoothing. Building on this insight, a hybrid NWP-AI system is proposed, wherein temperature and horizontal wind components predicted by GEM are spectrally nudged toward GraphCast predictions at large scales, while GEM itself freely generates the fine-scale details critical for local predictability and weather extremes. This hybrid approach is capable of leveraging the strengths of GraphCast to enhance the prediction skill of the GEM model while generating a full suite of physically consistent forecast fields with a full power spectrum. Additionally, trajectories of tropical cyclones are predicted with enhanced accuracy without significant changes in intensity. Work is in progress for operationalization of this hybrid system at the Canadian Meteorological Centre.

arxiv情報

著者 Syed Zahid Husain,Leo Separovic,Jean-François Caron,Rabah Aider,Mark Buehner,Stéphane Chamberland,Ervig Lapalme,Ron McTaggart-Cowan,Christopher Subich,Paul A. Vaillancourt,Jing Yang,Ayrton Zadra
発行日 2025-06-11 15:48:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph | Leveraging data-driven weather models for improving numerical weather prediction skill through large-scale spectral nudging はコメントを受け付けていません

OmniJet-$α_C$: Learning point cloud calorimeter simulations using generative transformers

要約

高粒度熱量計のポイントクラウドとして熱量計シャワーを生成するための生成変圧器の最初の使用を示します。
オムニエット-$ {\ alpha} $モデルのトークン剤と生成部分を使用して、整数のシーケンスとして検出器のヒットを表します。
このモデルは可変長さのシーケンスを許可します。つまり、現実的なシャワー開発をサポートし、ヒット数を条件付ける必要はありません。
トークン化はシャワーをポイントクラウドとして表すため、モデルは特定のボクセルグリッドに限定されることなく、シャワーのジオメトリを学習します。

要約(オリジナル)

We show the first use of generative transformers for generating calorimeter showers as point clouds in a high-granularity calorimeter. Using the tokenizer and generative part of the OmniJet-${\alpha}$ model, we represent the hits in the detector as sequences of integers. This model allows variable-length sequences, which means that it supports realistic shower development and does not need to be conditioned on the number of hits. Since the tokenization represents the showers as point clouds, the model learns the geometry of the showers without being restricted to any particular voxel grid.

arxiv情報

著者 Joschka Birk,Frank Gaede,Anna Hallin,Gregor Kasieczka,Martina Mozzanica,Henning Rose
発行日 2025-06-11 15:49:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ex, hep-ph, physics.ins-det | OmniJet-$α_C$: Learning point cloud calorimeter simulations using generative transformers はコメントを受け付けていません

Learning single-index models via harmonic decomposition

要約

シングルインデックスモデルの学習の問題を研究します。ここで、ラベル$ y \ in \ mathbb {r} $は、入力$ \ boldsymbol {x} \ in \ mathbb {r}^d $に依存します。
以前の研究では、ガウスの入力下では、$ \ boldsymbol {w} _*$を回復する統計的および計算上の複雑さが、リンク関数のエルマイト拡張によって支配されることが示されています。
この論文では、新しい視点を提案します。「エルミット多項式」ではなく、「球状の高調波」は、本質的な「回転対称性」を捉えているため、この問題の自然な基礎を提供すると主張します。
この洞察に基づいて、私たちはarbitrary意的に対称的な入力分布の下で単一インデックスモデルを学習することの複雑さを特徴付けます。
最適なサンプルの複雑さまたは最適なランタイムのいずれかをそれぞれ達成し、両方を達成する推定値が一般的に存在しない可能性があると主張する、テンソルの展開とオンラインSGDに基づいて、推定器の2つのファミリーを導入します。
ガウスの入力に特化した場合、私たちの理論は既存の結果を回復して明確にするだけでなく、以前見落とされていた新しい現象を明らかにします。

要約(オリジナル)

We study the problem of learning single-index models, where the label $y \in \mathbb{R}$ depends on the input $\boldsymbol{x} \in \mathbb{R}^d$ only through an unknown one-dimensional projection $\langle \boldsymbol{w}_*,\boldsymbol{x}\rangle$. Prior work has shown that under Gaussian inputs, the statistical and computational complexity of recovering $\boldsymbol{w}_*$ is governed by the Hermite expansion of the link function. In this paper, we propose a new perspective: we argue that ‘spherical harmonics’ — rather than ‘Hermite polynomials’ — provide the natural basis for this problem, as they capture its intrinsic ‘rotational symmetry’. Building on this insight, we characterize the complexity of learning single-index models under arbitrary spherically symmetric input distributions. We introduce two families of estimators — based on tensor unfolding and online SGD — that respectively achieve either optimal sample complexity or optimal runtime, and argue that estimators achieving both may not exist in general. When specialized to Gaussian inputs, our theory not only recovers and clarifies existing results but also reveals new phenomena that had previously been overlooked.

arxiv情報

著者 Nirmit Joshi,Hugo Koubbi,Theodor Misiakiewicz,Nathan Srebro
発行日 2025-06-11 15:59:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.ST, stat.ML, stat.TH | Learning single-index models via harmonic decomposition はコメントを受け付けていません

A look at adversarial attacks on radio waveforms from discrete latent space

要約

デジタル無線波形を個別の潜在スペースにマッピングするVQVAEを設計し、元のデータの完全に分類可能な再構築を生成すると、ここでは、高SNR無線蛍光(RF)データポイントで敵対的な攻撃が実行されたときにVQVAEの攻撃抑制特性を分析します。
デジタル変調された波形クラスのサブセットからの振幅変調をターゲットにするために、最初に、値が敵対的に変化した相と直前の成分の間の位相を維持する敵対的な攻撃を作成します。
位相が保存されていないのと同じ強度の敵対的な攻撃と比較します。
元のデータに100%の精度を提供するようにトレーニングされた分類器で、このような敵対例の分類精度をテストします。
VQVAEが攻撃の強さを抑制する能力を評価するために、敵対的なデータポイントのVQVAEによる再構築の分類器の精度を評価し、VQVAEが攻撃の有効性を大幅に低下させることを示します。
また、攻撃されたデータのI/Q平面図、それらの再構成、および元のデータを比較します。
最後に、複数の方法とメトリックを使用して、VQVAE潜在スペースの確率分布を攻撃の有無にかかわらず比較します。
攻撃強度を変えると、攻撃を検出するのに役立つかもしれない離散空間の興味深い特性が観察されます。

要約(オリジナル)

Having designed a VQVAE that maps digital radio waveforms into discrete latent space, and yields a perfectly classifiable reconstruction of the original data, we here analyze the attack suppressing properties of VQVAE when an adversarial attack is performed on high-SNR radio-frequency (RF) data-points. To target amplitude modulations from a subset of digitally modulated waveform classes, we first create adversarial attacks that preserve the phase between the in-phase and quadrature component whose values are adversarially changed. We compare them with adversarial attacks of the same intensity where phase is not preserved. We test the classification accuracy of such adversarial examples on a classifier trained to deliver 100% accuracy on the original data. To assess the ability of VQVAE to suppress the strength of the attack, we evaluate the classifier accuracy on the reconstructions by VQVAE of the adversarial datapoints and show that VQVAE substantially decreases the effectiveness of the attack. We also compare the I/Q plane diagram of the attacked data, their reconstructions and the original data. Finally, using multiple methods and metrics, we compare the probability distribution of the VQVAE latent space with and without attack. Varying the attack strength, we observe interesting properties of the discrete space, which may help detect the attacks.

arxiv情報

著者 Attanasia Garuso,Silvija Kokalj-Filipovic,Yagna Kaasaragadda
発行日 2025-06-11 16:09:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | A look at adversarial attacks on radio waveforms from discrete latent space はコメントを受け付けていません

‘What are my options?’: Explaining RL Agents with Diverse Near-Optimal Alternatives (Extended)

要約

この作業では、L4DC 2025で最初に提案された多様な最適な代替案(DNA)と呼ばれる説明可能な強化学習への新しいアプローチの拡張的な議論を提供します。DNAは、軌道鉱床剤の合理的な「オプション」のセットを求め、ユークリデン宇宙で質的に多様な軌道を生成するためのポリシーを最適化します。
説明可能性の精神で、これらの異なるポリシーは、人間のユーザーが選択できる利用可能な軌道形状の観点から、エージェントのオプションを「説明」するために使用されます。
特に、DNAは、エージェントが連続軌跡に限定されているマルコフ決定プロセスに関する値関数ベースのポリシーに適用されます。
ここでは、局所的な修正されたQラーニングの問題で報酬の形成を使用して、保証されたエプシロン最適性を備えた明確なポリシーを解決するDNAについて説明します。
シミュレーションで有意義に異なる「オプション」を構成する定性的に異なるポリシーを正常に返すことを示しています。
説明的な動機を超えて、この作業は、RLでの探査と適応計画の新しい可能性を開きます。

要約(オリジナル)

In this work, we provide an extended discussion of a new approach to explainable Reinforcement Learning called Diverse Near-Optimal Alternatives (DNA), first proposed at L4DC 2025. DNA seeks a set of reasonable ‘options’ for trajectory-planning agents, optimizing policies to produce qualitatively diverse trajectories in Euclidean space. In the spirit of explainability, these distinct policies are used to ‘explain’ an agent’s options in terms of available trajectory shapes from which a human user may choose. In particular, DNA applies to value function-based policies on Markov decision processes where agents are limited to continuous trajectories. Here, we describe DNA, which uses reward shaping in local, modified Q-learning problems to solve for distinct policies with guaranteed epsilon-optimality. We show that it successfully returns qualitatively different policies that constitute meaningfully different ‘options’ in simulation, including a brief comparison to related approaches in the stochastic optimization field of Quality Diversity. Beyond the explanatory motivation, this work opens new possibilities for exploration and adaptive planning in RL.

arxiv情報

著者 Noel Brindise,Vijeth Hebbar,Riya Shah,Cedric Langbort
発行日 2025-06-11 16:15:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | ‘What are my options?’: Explaining RL Agents with Diverse Near-Optimal Alternatives (Extended) はコメントを受け付けていません

Temperature Optimization for Bayesian Deep Learning

要約

寒冷後効果(CPE)は、ベイジアンディープラーニング(BDL)の現象であり、後部を寒い温度に抑えると、後部予測分布(PPD)の予測性能が改善されることがよくあります。
「CPE」という用語は、より低い温度が本質的に優れていることを示唆していますが、BDLコミュニティは、これが常にそうではないことをますます認識しています。
それにもかかわらず、グリッド検索を超える最適な温度を見つけるための体系的な方法は残っていません。
この作業では、データ駆動型のアプローチを提案して、テストログ予測密度を最大化し、温度をモデルパラメーターとして扱い、データから直接推定する温度を選択します。
私たちのメソッドは、回帰タスクと分類タスクの両方で、わずかなコストでグリッド検索と同等に機能することを経験的に実証します。
最後に、BDLと一般化されたベイズコミュニティの間のCPEの異なる視点を強調します。前者は主にPPDの予測性能を強調していますが、後者はモデルの誤りの下での事後の有用性を優先します。
これらの明確な目的は、さまざまな温度好みにつながります。

要約(オリジナル)

The Cold Posterior Effect (CPE) is a phenomenon in Bayesian Deep Learning (BDL), where tempering the posterior to a cold temperature often improves the predictive performance of the posterior predictive distribution (PPD). Although the term `CPE’ suggests colder temperatures are inherently better, the BDL community increasingly recognizes that this is not always the case. Despite this, there remains no systematic method for finding the optimal temperature beyond grid search. In this work, we propose a data-driven approach to select the temperature that maximizes test log-predictive density, treating the temperature as a model parameter and estimating it directly from the data. We empirically demonstrate that our method performs comparably to grid search, at a fraction of the cost, across both regression and classification tasks. Finally, we highlight the differing perspectives on CPE between the BDL and Generalized Bayes communities: while the former primarily emphasizes the predictive performance of the PPD, the latter prioritizes the utility of the posterior under model misspecification; these distinct objectives lead to different temperature preferences.

arxiv情報

著者 Kenyon Ng,Chris van der Heide,Liam Hodgkinson,Susan Wei
発行日 2025-06-11 16:25:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.CO, stat.ME, stat.ML | Temperature Optimization for Bayesian Deep Learning はコメントを受け付けていません

Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity

要約

Adamは、言語モデルをトレーニングするときにSGDを上回ります。
しかし、この利点は理論的には十分に理解されていません – AdamとSGDの以前の収束分析は、主にステップ$ t $の数に焦点を当てており、両方とも$ \ widetilde {o}(t^{-1/4})$です。
この作業では、素敵な$ \ ell_ \ infty $ geometryの搾取がSGDよりもAdamの重要な利点であると主張します。
より具体的には、ADAMの新しい収束分析を、より一般的な$ \ ELL_2 $ geometryではなく、損失が$ \ ell_ \ infty $ geometryの下でスムーズであるという新しい収束分析を提供します。
私たちの実験では、ADAMが好ましい$ \ ell_ \ infty $ geometryが変更された場合、SGDが影響を受けないようにすると、Adamがはるかに悪化することを確認しています。
また、収束分析を、新規のブロックワイズの滑らかさの仮定の下でブロックワイズアダムに拡張します。

要約(オリジナル)

Adam outperforms SGD when training language models. Yet this advantage is not well-understood theoretically — previous convergence analysis for Adam and SGD mainly focuses on the number of steps $T$ and is already minimax-optimal in non-convex cases, which are both $\widetilde{O}(T^{-1/4})$. In this work, we argue that the exploitation of nice $\ell_\infty$-geometry is the key advantage of Adam over SGD. More specifically, we give a new convergence analysis for Adam under novel assumptions that loss is smooth under $\ell_\infty$-geometry rather than the more common $\ell_2$-geometry, which yields a much better empirical smoothness constant for GPT-2 and ResNet models. Our experiments confirm that Adam performs much worse when the favorable $\ell_\infty$-geometry is changed while SGD provably remains unaffected. We also extend the convergence analysis to blockwise Adam under novel blockwise smoothness assumptions.

arxiv情報

著者 Shuo Xie,Mohamad Amin Mohamadi,Zhiyuan Li
発行日 2025-06-11 16:28:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity はコメントを受け付けていません

Optimal Noise Reduction in Dense Mixed-Membership Stochastic Block Models under Diverging Spiked Eigenvalues Condition

要約

コミュニティの検出は、現代のネットワークサイエンスで最も重要な問題の1つです。
そのアプリケーションは、タンパク質モデリングからソーシャルネットワーク分析まで、さまざまな分野で見つけることができます。
最近、多くの論文が、ネットワークの各ノードがいくつかのコミュニティに属している可能性のあるコミュニティ検出の重複の問題を研究しているように見えました。
この作業では、Airoldi et al。
MMSBは、グラフの重複するコミュニティ構造をモデル化するための非常に一般的な設定を提供します。
この論文の中心的な問題は、観察されたネットワークを与えられたコミュニティ間の関係を再構築することです。
さまざまなアプローチを比較し、推定誤差でミニマックスの下限を確立します。
次に、この下限に一致する新しい推定器を提案します。
理論的結果は、考慮されたモデルのかなり一般的な条件下で証明されます。
最後に、一連の実験で理論を説明します。

要約(オリジナル)

Community detection is one of the most critical problems in modern network science. Its applications can be found in various fields, from protein modeling to social network analysis. Recently, many papers appeared studying the problem of overlapping community detection, where each node of a network may belong to several communities. In this work, we consider Mixed-Membership Stochastic Block Model (MMSB) first proposed by Airoldi et al. MMSB provides quite a general setting for modeling overlapping community structure in graphs. The central question of this paper is to reconstruct relations between communities given an observed network. We compare different approaches and establish the minimax lower bound on the estimation error. Then, we propose a new estimator that matches this lower bound. Theoretical results are proved under fairly general conditions on the considered model. Finally, we illustrate the theory in a series of experiments.

arxiv情報

著者 Fedor Noskov,Maxim Panov
発行日 2025-06-11 16:29:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SI, stat.ML | Optimal Noise Reduction in Dense Mixed-Membership Stochastic Block Models under Diverging Spiked Eigenvalues Condition はコメントを受け付けていません