Optimizing Personalized Federated Learning through Adaptive Layer-Wise Learning

投稿日: 2025年4月30日 作成者: jarxiv

要約

Federated Learning（FL）の実際の展開は、多くの場合、非IIDデータに直面しているため、精度が低下し、収束が遅くなります。
パーソナライズされたFL（PFL）は、ローカルモデルを個々のデータソースに調整し、クライアント固有の学習のために加重集約方法を使用することにより、これらの問題に取り組みます。
ただし、既存のPFLメソッドは、低い計算オーバーヘッドを維持しながら、各ローカルモデルにグローバルな知識を需要のあるグローバルな知識を提供することに失敗することがよくあります。
さらに、ローカルモデルは、トレーニングプロセス中にデータを過剰に整合する傾向があり、以前に獲得したグローバル情報を削除する可能性があります。
ローカルモデルのパーソナライズパフォーマンスを最適化するPFLの新しい層ごとの学習方法であるFlayerを提案します。
Flayerは、個々のローカルモデルのニューラルネットワーク層のさまざまな役割と学習能力を考慮します。
ローカルモデルを費用対効果に初期化するために、必要に応じて各ローカルモデルのグローバル情報が組み込まれています。
次に、ローカルトレーニング中に各レイヤーの学習レートを動的に調整し、各ローカルモデルのパーソナライズされた学習プロセスを最適化しながら、グローバルな知識を維持します。
さらに、PFLのグローバル表現を強化するために、Flayerはレイヤーごとの方法でグローバル集約のパラメーターを選択的にアップロードします。
コンピュータービジョンと自然言語処理ドメインの4つの代表的なデータセットでFlayerを評価します。
6つの最先端のPFLメソッドと比較して、フレイヤーは平均して5.40 \％（最大14.29 \％）で推論の精度を改善します。

要約(オリジナル)

Real-life deployment of federated Learning (FL) often faces non-IID data, which leads to poor accuracy and slow convergence. Personalized FL (pFL) tackles these issues by tailoring local models to individual data sources and using weighted aggregation methods for client-specific learning. However, existing pFL methods often fail to provide each local model with global knowledge on demand while maintaining low computational overhead. Additionally, local models tend to over-personalize their data during the training process, potentially dropping previously acquired global information. We propose FLAYER, a novel layer-wise learning method for pFL that optimizes local model personalization performance. FLAYER considers the different roles and learning abilities of neural network layers of individual local models. It incorporates global information for each local model as needed to initialize the local model cost-effectively. It then dynamically adjusts learning rates for each layer during local training, optimizing the personalized learning process for each local model while preserving global knowledge. Additionally, to enhance global representation in pFL, FLAYER selectively uploads parameters for global aggregation in a layer-wise manner. We evaluate FLAYER on four representative datasets in computer vision and natural language processing domains. Compared to six state-of-the-art pFL methods, FLAYER improves the inference accuracy, on average, by 5.40\% (up to 14.29\%).

arxiv情報

著者 Weihang Chen,Cheng Yang,Jie Ren,Zhiqiang Li,Zheng Wang
発行日 2025-04-29 15:33:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Optimizing Personalized Federated Learning through Adaptive Layer-Wise Learning はコメントを受け付けていません

Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms

投稿日: 2025年4月30日 作成者: jarxiv

要約

標準的なマルチアームの盗賊の目的は、多くの場合、アームの確率分布の期待値の形で、最大の報酬を持つアームを識別し、繰り返し選択することです。
しかし、このような功利主義的な視点と確率モデルの最初の瞬間に焦点を当てることは、分配の尾の行動と意思決定における変動とリスクへの影響に不可知論されます。
このペーパーでは、予想ベースの評価から選好メトリック（PM）と呼ばれる代替報酬の定式化にシフトするための原則的なフレームワークを紹介します。
PMSは、さまざまな報酬実現に望ましい重点を置くことができ、リスク回避、堅牢性、または不確実性に対するその他の望ましい態度を取り入れる好みのより豊富なモデリングをエンコードできます。
このようなPM中心の視点における根本的に明確な観察は、Banditアルゴリズムの設計には大幅に異なる原則があるということです。最適なサンプリングポリシーが単一のベストアームから繰り返しサンプリングするように収束する報酬ベースのモデルとは対照的に、PM中心のフレームワークでは、特定の混合重量に基づいてアームを組み合わせて組み込む最適なポリシーが収束します。
このような混合ポリシーの設計は、主に数えられない混合の可能性のために、Banditアルゴリズムを重要な方法で設計するための原則から逸脱しています。
このペーパーは、PM中心のフレームワークを正式にし、ミックスを後悔効率の高い方法で学習および追跡する2つのアルゴリズムクラス（いつでも、いつでも、いつでも）を提示します。
これらのアルゴリズムには、標準的な対応物との2つの違いがあります。（i）最適な混合物の信頼できる推定値を形成する推定ルーチンを伴い、（ii）最適な混合物を追跡するためのアーム選択画分をナビゲートする追跡メカニズムを備えています。
これらのアルゴリズムの後悔保証は、PMSのさまざまな代数形式で調査されます。

要約(オリジナル)

The objective of canonical multi-armed bandits is to identify and repeatedly select an arm with the largest reward, often in the form of the expected value of the arm’s probability distribution. Such a utilitarian perspective and focus on the probability models’ first moments, however, is agnostic to the distributions’ tail behavior and their implications for variability and risks in decision-making. This paper introduces a principled framework for shifting from expectation-based evaluation to an alternative reward formulation, termed a preference metric (PM). The PMs can place the desired emphasis on different reward realization and can encode a richer modeling of preferences that incorporate risk aversion, robustness, or other desired attitudes toward uncertainty. A fundamentally distinct observation in such a PM-centric perspective is that designing bandit algorithms will have a significantly different principle: as opposed to the reward-based models in which the optimal sampling policy converges to repeatedly sampling from the single best arm, in the PM-centric framework the optimal policy converges to selecting a mix of arms based on specific mixing weights. Designing such mixture policies departs from the principles for designing bandit algorithms in significant ways, primarily because of uncountable mixture possibilities. The paper formalizes the PM-centric framework and presents two algorithm classes (horizon-dependent and anytime) that learn and track mixtures in a regret-efficient fashion. These algorithms have two distinctions from their canonical counterparts: (i) they involve an estimation routine to form reliable estimates of optimal mixtures, and (ii) they are equipped with tracking mechanisms to navigate arm selection fractions to track the optimal mixtures. These algorithms’ regret guarantees are investigated under various algebraic forms of the PMs.

arxiv情報

著者 Meltem Tatlı,Arpan Mukherjee,Prashanth L. A.,Karthikeyan Shanmugam,Ali Tajer
発行日 2025-04-29 15:46:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Preference-centric Bandits: Optimality of Mixtures and Regret-efficient Algorithms はコメントを受け付けていません

UP-dROM : Uncertainty-Aware and Parametrised dynamic Reduced-Order Model, application to unsteady flows

投稿日: 2025年4月30日 作成者: jarxiv

要約

低コストの予測を提供し、エンジニアリングアプリケーションの魅力的なツールにすることにより、縮小順序モデル（ROM）は、流体力学で重要な役割を果たします。
ただし、ROMが広く適用可能であるためには、さまざまな体制全体でよく一般化するだけでなく、予測に対する自信の尺度も提供する必要があります。
最近のデータ駆動型アプローチは、一時的な環境での予測を改善するための非線形削減技術に対処し始めていますが、課題は堅牢性とパラメータ化の観点から残っています。
この作業では、パラメータ化と不確実性の定量化を組み込んだ過渡フロー向けに特別に設計された非線形削減戦略を提示します。
当社の還元戦略には、信頼測定のために変動推論を使用する変分自動エンコーダー（VAE）が特徴です。
動的システムを予測するために、注意メカニズムの最近の進歩を組み込んだ潜在宇宙変圧器を使用します。
学習シーケンスにおける注意の汎用性と外部パラメーターへの依存性をキャプチャすることで、広範なダイナミクス全体の一般化が強化されます。
予測は、自信と相まって、より多くの情報に基づいた意思決定を可能にし、より堅牢なモデルの必要性に対処します。
さらに、この信頼性は、パラメーター空間を費用対効果の高いサンプルに使用して、ドメイン全体の評価データを必要とせずに、パラメーター空間全体でモデルのパフォーマンスを向上させます。

要約(オリジナル)

Reduced order models (ROMs) play a critical role in fluid mechanics by providing low-cost predictions, making them an attractive tool for engineering applications. However, for ROMs to be widely applicable, they must not only generalise well across different regimes, but also provide a measure of confidence in their predictions. While recent data-driven approaches have begun to address nonlinear reduction techniques to improve predictions in transient environments, challenges remain in terms of robustness and parametrisation. In this work, we present a nonlinear reduction strategy specifically designed for transient flows that incorporates parametrisation and uncertainty quantification. Our reduction strategy features a variational auto-encoder (VAE) that uses variational inference for confidence measurement. We use a latent space transformer that incorporates recent advances in attention mechanisms to predict dynamical systems. Attention’s versatility in learning sequences and capturing their dependence on external parameters enhances generalisation across a wide range of dynamics. Prediction, coupled with confidence, enables more informed decision making and addresses the need for more robust models. In addition, this confidence is used to cost-effectively sample the parameter space, improving model performance a priori across the entire parameter space without requiring evaluation data for the entire domain.

arxiv情報

著者 Ismaël Zighed,Nicolas Thome,Patrick Gallinari,Taraneh Sayadi
発行日 2025-04-29 15:51:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.flu-dyn | UP-dROM : Uncertainty-Aware and Parametrised dynamic Reduced-Order Model, application to unsteady flows はコメントを受け付けていません

Guessing Efficiently for Constrained Subspace Approximation

投稿日: 2025年4月30日 作成者: jarxiv

要約

この論文では、制約された部分空間近似問題を研究します。
$ n $ポイントのセット$ \ {a_1、\ ldots、a_n \} $ in $ \ mathbb {r}^d $、{\ emサブスペース近似}問題の目標は、入力点に最も近い$ k $寸法サブスペースを見つけることです。
より正確には、指定された$ p \ geq 1 $について、エラーベクトル$（\ | a_1- \ bm {p} a_1 \ |、\ ldots、\ | a_n- \ bm {p} a_n \ |）$ \ bm {p} $ \ bm {p} $ \ bm {p}の$ \ bector $（\ | a_1- \ bm {p} a_1 \ |の$ p $の電力を最小限に抑えることを目指しています。
部分空間にマトリックスがあり、規範はユークリッドです。
\ emph {constrained}サブスペース近似（CSA）では、さらに投影行列$ \ bm {p} $に制約があります。
最も一般的な形式では、明示的または暗黙的に記述される特定のサブセット$ \ mathcal {s} $に属する$ \ bm {p} $が必要です。
制約された部分空間近似の一般的なフレームワークを紹介します。
私たちのアプローチは、Coreset-Guess-solveと呼ばれるというアプローチで、さまざまな制約の$（1+ \ varepsilon）$ -Multiplicativeまたは$ \ varepsilon $ additive近似のいずれかを生成します。
{\ it Fair}サブスペース近似、$ k $ -meansクラスタリング、および投影された非陰性マトリックス因数分解などを使用して、パーティション制約のサブスペース近似の新しいアルゴリズムを提供することを示します。
具体的には、ユークリッドスペースで$ k $ -meansクラスタリングの最もよく知られている境界を再構築しますが、残りの問題の既知の結果を改善します。

要約(オリジナル)

In this paper we study constrained subspace approximation problem. Given a set of $n$ points $\{a_1,\ldots,a_n\}$ in $\mathbb{R}^d$, the goal of the {\em subspace approximation} problem is to find a $k$ dimensional subspace that best approximates the input points. More precisely, for a given $p\geq 1$, we aim to minimize the $p$th power of the $\ell_p$ norm of the error vector $(\|a_1-\bm{P}a_1\|,\ldots,\|a_n-\bm{P}a_n\|)$, where $\bm{P}$ denotes the projection matrix onto the subspace and the norms are Euclidean. In \emph{constrained} subspace approximation (CSA), we additionally have constraints on the projection matrix $\bm{P}$. In its most general form, we require $\bm{P}$ to belong to a given subset $\mathcal{S}$ that is described explicitly or implicitly. We introduce a general framework for constrained subspace approximation. Our approach, that we term coreset-guess-solve, yields either $(1+\varepsilon)$-multiplicative or $\varepsilon$-additive approximations for a variety of constraints. We show that it provides new algorithms for partition-constrained subspace approximation with applications to {\it fair} subspace approximation, $k$-means clustering, and projected non-negative matrix factorization, among others. Specifically, while we reconstruct the best known bounds for $k$-means clustering in Euclidean spaces, we improve the known results for the remainder of the problems.

arxiv情報

著者 Aditya Bhaskara,Sepideh Mahabadi,Madhusudhan Reddy Pittu,Ali Vakilian,David P. Woodruff
発行日 2025-04-29 15:56:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG | Guessing Efficiently for Constrained Subspace Approximation はコメントを受け付けていません

Does Feedback Help in Bandits with Arm Erasures?

投稿日: 2025年4月30日 作成者: jarxiv

要約

私たちは、通信制約のネットワークを介したMABアルゴリズムの採用の増加によって動機付けられた腕の消去チャネルを介した分散マルチアームの盗賊（MAB）問題を研究します。
このセットアップでは、学習者は、選択したアームを通信して、[0,1）$の確率$ \ epsilon \で消去チャネルでエージェントにプレイします。
消去が発生した場合、エージェントは最後に正常に受け取った腕を引っ張り続けます。
学習者は常に引っ張られた腕の報酬を観察します。
過去の仕事では、エージェントが学習者にフィードバックを伝えることができない場合を検討しました。したがって、学習者は、再生されたアームが要求されたものであるか、最後に正常に受け取ったものであるかを知りません。
この論文では、代わりに、エージェントがARMリクエストが受信されたかどうかについて学習者にフィードバックを送信できる場合を検討します。
驚くべきことに、消去フィードバックは、以前に調査された非フィードバック設定で最悪の後悔の上限順序を改善しないことを証明します。
特に、$ \ omega（\ sqrt {kt} + k /（1- \ epsilon））$の後悔の下限を証明します。ここで、$ k $は腕の数、$ t $は、対数要因までのフィードバックの上限に一致します。
ただし、フィードバックの可用性により、より良い定数（より良い順序ではありませんが）後悔の境界を達成する可能性のあるより単純なアルゴリズム設計が可能になることに注意してください。
そのようなアルゴリズムの1つを設計し、そのパフォーマンスを数値的に評価します。

要約(オリジナル)

We study a distributed multi-armed bandit (MAB) problem over arm erasure channels, motivated by the increasing adoption of MAB algorithms over communication-constrained networks. In this setup, the learner communicates the chosen arm to play to an agent over an erasure channel with probability $\epsilon \in [0,1)$; if an erasure occurs, the agent continues pulling the last successfully received arm; the learner always observes the reward of the arm pulled. In past work, we considered the case where the agent cannot convey feedback to the learner, and thus the learner does not know whether the arm played is the requested or the last successfully received one. In this paper, we instead consider the case where the agent can send feedback to the learner on whether the arm request was received, and thus the learner exactly knows which arm was played. Surprisingly, we prove that erasure feedback does not improve the worst-case regret upper bound order over the previously studied no-feedback setting. In particular, we prove a regret lower bound of $\Omega(\sqrt{KT} + K / (1 – \epsilon))$, where $K$ is the number of arms and $T$ the time horizon, that matches no-feedback upper bounds up to logarithmic factors. We note however that the availability of feedback enables simpler algorithm designs that may achieve better constants (albeit not better order) regret bounds; we design one such algorithm and evaluate its performance numerically.

arxiv情報

著者 Merve Karakas,Osama Hanna,Lin F. Yang,Christina Fragouli
発行日 2025-04-29 16:10:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Does Feedback Help in Bandits with Arm Erasures? はコメントを受け付けていません

Evaluating Generative Models for Tabular Data: Novel Metrics and Benchmarking

投稿日: 2025年4月30日 作成者: jarxiv

要約

生成モデルは複数のドメインに革命をもたらしましたが、表形式データへの適用は露出度の低いままです。
表形式データの生成モデルを評価することは、構造的な複雑さ、大規模な変動性、および混合データ型のために独自の課題を提示し、複雑なパターンを直感的にキャプチャすることを困難にします。
既存の評価メトリックは、部分的な洞察のみを提供し、生成パフォーマンスの包括的な尺度がありません。
この制限に対処するために、FAED、FPCAD、およびRFIの3つの新しい評価指標を提案します。
3つの標準ネットワーク侵入検出データセットで実施された広範な実験分析は、これらのメトリックを忠実度、ユーティリティ、TSTR、TRTなどの確立された評価方法と比較します。
私たちの結果は、FAEDが既存のメトリックによって見落とされている生成モデリングの問題を効果的にキャプチャすることを示しています。
FPCADは有望なパフォーマンスを示していますが、信頼性を高めるにはさらなる改良が必要です。
提案されたフレームワークは、表形式データアプリケーションで生成モデルを評価するための堅牢で実用的なアプローチを提供します。

要約(オリジナル)

Generative models have revolutionized multiple domains, yet their application to tabular data remains underexplored. Evaluating generative models for tabular data presents unique challenges due to structural complexity, large-scale variability, and mixed data types, making it difficult to intuitively capture intricate patterns. Existing evaluation metrics offer only partial insights, lacking a comprehensive measure of generative performance. To address this limitation, we propose three novel evaluation metrics: FAED, FPCAD, and RFIS. Our extensive experimental analysis, conducted on three standard network intrusion detection datasets, compares these metrics with established evaluation methods such as Fidelity, Utility, TSTR, and TRTS. Our results demonstrate that FAED effectively captures generative modeling issues overlooked by existing metrics. While FPCAD exhibits promising performance, further refinements are necessary to enhance its reliability. Our proposed framework provides a robust and practical approach for assessing generative models in tabular data applications.

arxiv情報

著者 Dayananda Herurkar,Ahmad Ali,Andreas Dengel
発行日 2025-04-29 16:16:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Evaluating Generative Models for Tabular Data: Novel Metrics and Benchmarking はコメントを受け付けていません

Learnable Residual-based Latent Denoising in Semantic Communication

投稿日: 2025年4月30日 作成者: jarxiv

要約

ノイズの多いチャネルを介した堅牢な画像伝送のために、潜在的な除去セマンティック通信（SEMCOM）フレームワークが提案されています。
学習可能な潜在的な点角を受信機に組み込むことにより、受信した信号は、チャネルノイズを効果的に除去し、セマンティック情報を回復するために前処理され、それによりデコードされた画像の品質が向上します。
具体的には、安定したパフォーマンスを確保しながら、除去効率を改善するための反復的な残留学習アプローチによって潜在的な除去マッピングが確立されます。
さらに、チャネル信号対雑音比（SNR）を利用して、条件付き除去の潜在的な類似性スコア（SS）を推定および予測します。ここでは、予測されたSSシーケンスに基づいて除去ステップの数が適合し、通信潜時がさらに減少します。
最後に、シミュレーションは、提案されたフレームワークがさまざまなレベルでチャネルノイズを効果的かつ効率的に除去し、視覚的に魅力的な画像を再構築できることを示しています。

要約(オリジナル)

A latent denoising semantic communication (SemCom) framework is proposed for robust image transmission over noisy channels. By incorporating a learnable latent denoiser into the receiver, the received signals are preprocessed to effectively remove the channel noise and recover the semantic information, thereby enhancing the quality of the decoded images. Specifically, a latent denoising mapping is established by an iterative residual learning approach to improve the denoising efficiency while ensuring stable performance. Moreover, channel signal-to-noise ratio (SNR) is utilized to estimate and predict the latent similarity score (SS) for conditional denoising, where the number of denoising steps is adapted based on the predicted SS sequence, further reducing the communication latency. Finally, simulations demonstrate that the proposed framework can effectively and efficiently remove the channel noise at various levels and reconstruct visual-appealing images.

arxiv情報

著者 Mingkai Xu,Yongpeng Wu,Yuxuan Shi,Xiang-Gen Xia,Wenjun Zhang,Ping Zhang
発行日 2025-04-29 16:17:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT | Learnable Residual-based Latent Denoising in Semantic Communication はコメントを受け付けていません

Dual Explanations via Subgraph Matching for Malware Detection

投稿日: 2025年4月30日 作成者: jarxiv

要約

解釈可能なマルウェア検出は、有害な行動を理解し、自動化されたセキュリティシステムに対する信頼を構築するために重要です。
グラフニューラルネットワーク（GNNS）の従来の説明可能な方法は、グラフ内の重要な領域を強調することがよくありますが、既知の良性または悪意のある行動パターンに関連付けられません。
この制限により、検証済みのプロトタイプとの整合が不可欠なセキュリティコンテキストでのユーティリティが低下します。
この作業では、GNNベースのマルウェア検出決定を解釈する新しいデュアルプロトタイプ駆動型の説明可能なフレームワークを紹介します。
このデュアルな説明可能なフレームワークは、サブマッチ説明者と呼ばれるサブグラフマッチングテクニックによって設計された新しい第2レベルの説明者とベース説明者（最先端の説明者）を統合します。
提案された説明者は、一致したサブグラフとの関連に基づいて解釈可能なスコアをノードに割り当て、良性地域と悪意のある地域の間にきめ細かい区別を提供します。
このプロトタイプ誘導スコアリングメカニズムにより、より解釈可能な行動に整合した説明が可能になります。
実験結果は、この方法が高い検出性能を維持しながら、マルウェア分析の解釈可能性を大幅に改善することを示しています。

要約(オリジナル)

Interpretable malware detection is crucial for understanding harmful behaviors and building trust in automated security systems. Traditional explainable methods for Graph Neural Networks (GNNs) often highlight important regions within a graph but fail to associate them with known benign or malicious behavioral patterns. This limitation reduces their utility in security contexts, where alignment with verified prototypes is essential. In this work, we introduce a novel dual prototype-driven explainable framework that interprets GNN-based malware detection decisions. This dual explainable framework integrates a base explainer (a state-of-the-art explainer) with a novel second-level explainer which is designed by subgraph matching technique, called SubMatch explainer. The proposed explainer assigns interpretable scores to nodes based on their association with matched subgraphs, offering a fine-grained distinction between benign and malicious regions. This prototype-guided scoring mechanism enables more interpretable, behavior-aligned explanations. Experimental results demonstrate that our method preserves high detection performance while significantly improving interpretability in malware analysis.

arxiv情報

著者 Hossein Shokouhinejad,Roozbeh Razavi-Far,Griffin Higgins,Ali A. Ghorbani
発行日 2025-04-29 16:20:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Dual Explanations via Subgraph Matching for Malware Detection はコメントを受け付けていません

Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: Generalized Baselines

投稿日: 2025年4月30日 作成者: jarxiv

要約

オンライン強化学習の多くの実際的なアプリケーションは、未知の環境について学びながら、安全上の制約の満足度を必要とします。
この作業では、未知のダイナミクスを備えた線形二次調節因子学習の標準的な問題を研究することにより、安全性の制約を伴う強化学習の理論的基礎を確立しますが、高い確率で軌道全体の安全な領域内に位置にとどまる必要があるという追加の制約があります。
私たちの主な貢献は、線形コントローラーよりも制約された問題に適した非線形コントローラーのより強力なベースラインを研究するための一般的なフレームワークです。
制約された問題で非線形コントローラーを分析するのが難しいため、1次元の状態および作用スペースに焦点を当てますが、高レベルのテイクアウトがより高い次元に一般化できると予想する方法についても説明します。
私たちのフレームワークを使用して、\ emphing {Any}非線形ベースラインの満足のいく自然な仮定の場合、$ \ Tilde {o} _t（\ sqrt {t}）$ – 騒音分布が十分に大きなサポートを持っている場合、$ \ tilde {o} _t（t^{2/3}）$の後悔が可能な場合、後悔が可能であることを示します。
サブガウスノイズ分布。
これらの結果を証明する際に、十分なノイズの存在下で安全を強制することが「自由な探査」を提供することを示す非線形制御に縛られた新しい不確実性推定を導入し、安全制御制御の不確実性の追加コストを補うことができます。

要約(オリジナル)

Many practical applications of online reinforcement learning require the satisfaction of safety constraints while learning about the unknown environment. In this work, we establish theoretical foundations for reinforcement learning with safety constraints by studying the canonical problem of Linear Quadratic Regulator learning with unknown dynamics, but with the additional constraint that the position must stay within a safe region for the entire trajectory with high probability. Our primary contribution is a general framework for studying stronger baselines of nonlinear controllers that are better suited for constrained problems than linear controllers. Due to the difficulty of analyzing non-linear controllers in a constrained problem, we focus on 1-dimensional state- and action- spaces, however we also discuss how we expect the high-level takeaways can generalize to higher dimensions. Using our framework, we show that for \emph{any} non-linear baseline satisfying natural assumptions, $\tilde{O}_T(\sqrt{T})$-regret is possible when the noise distribution has sufficiently large support, and $\tilde{O}_T(T^{2/3})$-regret is possible for \emph{any} subgaussian noise distribution. In proving these results, we introduce a new uncertainty estimation bound for nonlinear controls which shows that enforcing safety in the presence of sufficient noise can provide “free exploration” that compensates for the added cost of uncertainty in safety-constrained control.

arxiv情報

著者 Benjamin Schiffer,Lucas Janson
発行日 2025-04-29 16:24:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, eess.SY, stat.ML | Foundations of Safe Online Reinforcement Learning in the Linear Quadratic Regulator: Generalized Baselines はコメントを受け付けていません

GiBy: A Giant-Step Baby-Step Classifier For Anomaly Detection In Industrial Control Systems

投稿日: 2025年4月30日 作成者: jarxiv

要約

システム制御の自動化を確保し、植物プロセスを保証するために、任意の産業制御システム（ICS）のサイバー物理コンポーネント間の相互作用の継続的な監視は、フェイルセーフであり、許容できる安全な状態のままです。
安全性は、対応するセンサーの測定値に依存する作動（電気信号が物理的な動きをトリガーするために使用される）を管理することによって達成されます。
意思決定における基本真理として使用されます。
ICSSにおける異常（攻撃、障害、および未加工状態）のタイムリーな検出は、植物の安全な走行、その人員の安全性、および提供されるサービスの安全な提供に不可欠です。
主に線形モデルの解決が簡単で十分に理解されるため、センサーアクチュエーターの関係から生じる非線形形態の正確な線形化を伴う異常検出方法を提案します。
さらに、センサーとの関係におけるアクチュエーターの寸法減少を使用して、異常検出シナリオ/問題の時間の複雑さが低下します。
これは、よく知られている水処理テストベッドをユースケースとして使用して達成します。
私たちの実験は、異常を検出し、説明可能性を提供するためのミリ秒の時間応答を示しています。
これは、同じ目的で使用される説明可能なAI（XAI）を使用して、他の最先端のAI/MLモデルによって同時に達成されるわけではありません。
さらに、センサーと異常が検出された作動状態をピン留めます。

要約(オリジナル)

The continuous monitoring of the interactions between cyber-physical components of any industrial control system (ICS) is required to secure automation of the system controls, and to guarantee plant processes are fail-safe and remain in an acceptably safe state. Safety is achieved by managing actuation (where electric signals are used to trigger physical movement), dependent on corresponding sensor readings; used as ground truth in decision making. Timely detection of anomalies (attacks, faults and unascertained states) in ICSs is crucial for the safe running of a plant, the safety of its personnel, and for the safe provision of any services provided. We propose an anomaly detection method that involves accurate linearization of the non-linear forms arising from sensor-actuator(s) relationships, primarily because solving linear models is easier and well understood. Further, the time complexity of the anomaly detection scenario/problem at hand is lowered using dimensionality reduction of the actuator(s) in relationship with a sensor. We accomplish this by using a well-known water treatment testbed as a use case. Our experiments show millisecond time response to detect anomalies and provide explainability; that are not simultaneously achieved by other state of the art AI/ML models with eXplainable AI (XAI) used for the same purpose. Further, we pin-point the sensor(s) and its actuation state for which anomaly was detected.

arxiv情報

著者 Sarad Venugopalan,Sridhar Adepu
発行日 2025-04-29 16:24:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | GiBy: A Giant-Step Baby-Step Classifier For Anomaly Detection In Industrial Control Systems はコメントを受け付けていません