Sparse PCA With Multiple Components

投稿日: 2025年3月24日 作成者: jarxiv

要約

スパース主成分分析（SPCA）は、高次元データセットの分散を解釈可能な方法で説明する、機能、または主成分（PC）の組み合わせを取得するための基本的な手法です。
これには、スパース性と直交の制約のある凸最大化問題を解決することが含まれます。これは非常に計算的に困難です。
ほとんどの既存の作業は、1つのスパースPCを繰り返し計算し、共分散行列をデフレットするように、方法などを介してスパースPCAに対処します。
直交条件をランクの制約として再定式化し、スパース性とランクの制約を同時に最適化することにより、このステータスに挑戦します。
高品質の上限を供給するために、緊密な半定型緩和を設計します。これは、各PCの個々のスパースが指定されている場合に、追加の2次円円錐の不平等を介して強化します。
さらに、サポートの関数として説明されている最大分散量の組み合わせ上限を導き出します。
これらのリラクゼーションと境界を活用して、P = 100または1000sの機能とR \ in {2、3}コンポーネントを持つ実際のデータセットで、0％-15％の範囲でバウンドギャップを持つソリューションを併用する正確な方法と丸めメカニズムを提案します。
数値的には、アルゴリズムは、まばらで直交するPCを説明し、体系的に返す分散の割合の点で、最高のパフォーマンスの方法と一致します（時には上回ります）。
対照的に、DEFLATIONのような既存のメソッドは、まばらな直交PCに従ってデータが生成された場合でも、直交の制約に違反するソリューションを返すことができます。
全体として、私たちのアプローチは、複数のコンポーネントを備えたまばらなPCAの問題を、実質的に扱いやすい方法で認証可能な（近い）最適性を解決します。

要約(オリジナル)

Sparse Principal Component Analysis (sPCA) is a cardinal technique for obtaining combinations of features, or principal components (PCs), that explain the variance of high-dimensional datasets in an interpretable manner. This involves solving a sparsity and orthogonality constrained convex maximization problem, which is extremely computationally challenging. Most existing works address sparse PCA via methods-such as iteratively computing one sparse PC and deflating the covariance matrix-that do not guarantee the orthogonality, let alone the optimality, of the resulting solution when we seek multiple mutually orthogonal PCs. We challenge this status by reformulating the orthogonality conditions as rank constraints and optimizing over the sparsity and rank constraints simultaneously. We design tight semidefinite relaxations to supply high-quality upper bounds, which we strengthen via additional second-order cone inequalities when each PC’s individual sparsity is specified. Further, we derive a combinatorial upper bound on the maximum amount of variance explained as a function of the support. We exploit these relaxations and bounds to propose exact methods and rounding mechanisms that, together, obtain solutions with a bound gap on the order of 0%-15% for real-world datasets with p = 100s or 1000s of features and r \in {2, 3} components. Numerically, our algorithms match (and sometimes surpass) the best performing methods in terms of fraction of variance explained and systematically return PCs that are sparse and orthogonal. In contrast, we find that existing methods like deflation return solutions that violate the orthogonality constraints, even when the data is generated according to sparse orthogonal PCs. Altogether, our approach solves sparse PCA problems with multiple components to certifiable (near) optimality in a practically tractable fashion.

arxiv情報

著者 Ryan Cory-Wright,Jean Pauphilet
発行日 2025-03-21 14:52:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, math.ST, stat.ML, stat.TH | Sparse PCA With Multiple Components はコメントを受け付けていません

Contraction Theory for Nonlinear Stability Analysis and Learning-based Control: A Tutorial Overview

投稿日: 2025年3月24日 作成者: jarxiv

要約

収縮理論は、均一に正の明確なマトリックスで定義された収縮メトリックの下で、非自律的な（すなわち、時変）非線形システムの微分ダイナミクスを研究するための分析ツールであり、その存在は、その存在が、それ以外の場合に複数の溶液軌跡の増分指数安定性の必要かつ十分な特性評価をもたらします。
四方の微分長をリアプノフ様関数として使用することにより、その非線形安定性分析は、線形マトリックスの不等式として表される安定性条件を満たす適切な収縮メトリックを見つけることに煮詰め、多くの類似点がよく知られている線形系理論と非線形系の縮小理論の間に描画できることを示します。
さらに、収縮理論は、比較補題と組み合わせて使用​​される指数関数的安定性の優れた堅牢性を活用します。
これにより、入力間の安定性のために均一な漸近安定性を使用するより複雑な方法に頼ることなく、ニューラルネットワークベースの制御および推定スキームの非常に必要な安全性と安定性保証が得られます。
このような特徴的な特徴により、凸最適化を介して収縮メトリックの体系的な構築が可能になり、それにより、障害と学習エラーのために外部的に摂動する時変ターゲット軌道と溶液の軌跡の間の距離に明示的な指数関数的結合が得られます。
したがって、このペーパーの目的は、さまざまな学習ベースおよびデータ駆動型の自動制御方法の正式な堅牢性と安定性保証を導き出すことに重点を置いて、収縮理論のチュートリアルの概要と、決定論的および確率的システムの非線形安定性分析におけるその利点を示すことです。
特に、ディープニューラルネットワークを使用して収縮メトリックと関連する制御および推定法を見つけるための手法の詳細なレビューを提供します。

要約(オリジナル)

Contraction theory is an analytical tool to study differential dynamics of a non-autonomous (i.e., time-varying) nonlinear system under a contraction metric defined with a uniformly positive definite matrix, the existence of which results in a necessary and sufficient characterization of incremental exponential stability of multiple solution trajectories with respect to each other. By using a squared differential length as a Lyapunov-like function, its nonlinear stability analysis boils down to finding a suitable contraction metric that satisfies a stability condition expressed as a linear matrix inequality, indicating that many parallels can be drawn between well-known linear systems theory and contraction theory for nonlinear systems. Furthermore, contraction theory takes advantage of a superior robustness property of exponential stability used in conjunction with the comparison lemma. This yields much-needed safety and stability guarantees for neural network-based control and estimation schemes, without resorting to a more involved method of using uniform asymptotic stability for input-to-state stability. Such distinctive features permit the systematic construction of a contraction metric via convex optimization, thereby obtaining an explicit exponential bound on the distance between a time-varying target trajectory and solution trajectories perturbed externally due to disturbances and learning errors. The objective of this paper is, therefore, to present a tutorial overview of contraction theory and its advantages in nonlinear stability analysis of deterministic and stochastic systems, with an emphasis on deriving formal robustness and stability guarantees for various learning-based and data-driven automatic control methods. In particular, we provide a detailed review of techniques for finding contraction metrics and associated control and estimation laws using deep neural networks.

arxiv情報

著者 Hiroyasu Tsukamoto,Soon-Jo Chung,Jean-Jacques E. Slotine
発行日 2025-03-21 15:00:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY, math.OC | Contraction Theory for Nonlinear Stability Analysis and Learning-based Control: A Tutorial Overview はコメントを受け付けていません

Global-Decision-Focused Neural ODEs for Proactive Grid Resilience Management

投稿日: 2025年3月24日 作成者: jarxiv

要約

山火事やハリケーンなどの極端なハザードイベントが電力システムをますます脅かし、広範な停止を引き起こし、重要なサービスを混乱させます。
最近、Predict-Then-Optimizeアプローチは、システム機能の予測が最初に生成され、その後ダウンストリームの意思決定の入力として使用されるグリッド操作で牽引力を獲得しました。
ただし、この2段階の方法は、多くの場合、予測と最適化の目的との間に誤った整列をもたらし、最適ではないリソース割り当てにつながります。
これに対処するために、停止予測をグローバルに最適化された介入と統合するフレームワークである、すべてをglobally（patog）に予測することを提案します。
その中核では、当社のグローバル決定に焦点を当てた（GDF）ニューラルODEモデルは、意思決定に対応する方法でレジリエンス戦略を最適化しながら、停止ダイナミクスをキャプチャします。
従来の方法とは異なり、私たちのアプローチは空間的および一時的に一貫した意思決定を保証し、予測精度と運用効率の両方を改善します。
合成および実世界のデータセットの実験は、停止予測の一貫性とグリッドの回復力の大幅な改善を示しています。

要約(オリジナル)

Extreme hazard events such as wildfires and hurricanes increasingly threaten power systems, causing widespread outages and disrupting critical services. Recently, predict-then-optimize approaches have gained traction in grid operations, where system functionality forecasts are first generated and then used as inputs for downstream decision-making. However, this two-stage method often results in a misalignment between prediction and optimization objectives, leading to suboptimal resource allocation. To address this, we propose predict-all-then-optimize-globally (PATOG), a framework that integrates outage prediction with globally optimized interventions. At its core, our global-decision-focused (GDF) neural ODE model captures outage dynamics while optimizing resilience strategies in a decision-aware manner. Unlike conventional methods, our approach ensures spatially and temporally coherent decision-making, improving both predictive accuracy and operational efficiency. Experiments on synthetic and real-world datasets demonstrate significant improvements in outage prediction consistency and grid resilience.

arxiv情報

著者 Shuyi Chen,Ferdinando Fioretto,Feng Qiu,Shixiang Zhu
発行日 2025-03-21 15:16:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Global-Decision-Focused Neural ODEs for Proactive Grid Resilience Management はコメントを受け付けていません

ML-Based Bidding Price Prediction for Pay-As-Bid Ancillary Services Markets: A Use Case in the German Control Reserve Market

投稿日: 2025年3月24日 作成者: jarxiv

要約

再生可能エネルギー源の統合の増加により、発電におけるボラティリティと予測不可能性が高まり、グリッドの安定性に課題があります。
ドイツの管理予備市場などの補助サービス市場により、産業用消費者と生産者は消費電力または生成に柔軟性を提供し、追加の収入を得ながらグリッドの安定性に貢献できます。
ただし、多くの参加者は、収益を最大化しない可能性のある単純な入札戦略を使用しています。
このホワイトペーパーでは、ドイツの管理予備市場に焦点を当てた、給与としての補助サービス市場での入札価格を予測するための方法論を紹介します。
サポートベクトル回帰、意思決定ツリー、k-nearest Neighborsなど、さまざまな機械学習モデルを評価し、そのパフォーマンスをベンチマークモデルと比較します。
給与としての収益市場の収益関数の非対称性に対処するために、予測モデルの実際的な適用性を高めるオフセット調整手法を導入します。
私たちの分析は、提案されたアプローチがベースラインモデルと比較して潜在的な収益を27.43％から37.31％改善することを示しています。
モデルの予測エラーと収益の関係を分析する場合、3つの市場で負の相関が測定されます。
結果によると、1ユーロ/MWモデルの価格予測エラー（MAE）の削減により、統計的には483ユーロ/MWと3,631ユーロ/MWの年間収益が増加します。
提案された方法論により、産業参加者は入札戦略を最適化し、収益の増加につながり、電気網の効率と安定性に貢献できます。

要約(オリジナル)

The increasing integration of renewable energy sources has led to greater volatility and unpredictability in electricity generation, posing challenges to grid stability. Ancillary service markets, such as the German control reserve market, allow industrial consumers and producers to offer flexibility in their power consumption or generation, contributing to grid stability while earning additional income. However, many participants use simple bidding strategies that may not maximize their revenues. This paper presents a methodology for forecasting bidding prices in pay-as-bid ancillary service markets, focusing on the German control reserve market. We evaluate various machine learning models, including Support Vector Regression, Decision Trees, and k-Nearest Neighbors, and compare their performance against benchmark models. To address the asymmetry in the revenue function of pay-as-bid markets, we introduce an offset adjustment technique that enhances the practical applicability of the forecasting models. Our analysis demonstrates that the proposed approach improves potential revenues by 27.43 % to 37.31 % compared to baseline models. When analyzing the relationship between the model forecasting errors and the revenue, a negative correlation is measured for three markets; according to the results, a reduction of 1 EUR/MW model price forecasting error (MAE) statistically leads to a yearly revenue increase between 483 EUR/MW and 3,631 EUR/MW. The proposed methodology enables industrial participants to optimize their bidding strategies, leading to increased earnings and contributing to the efficiency and stability of the electrical grid.

arxiv情報

著者 Vincent Bezold,Lukas Baur,Alexander Sauer
発行日 2025-03-21 15:21:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CE, cs.LG, stat.AP, stat.ML | ML-Based Bidding Price Prediction for Pay-As-Bid Ancillary Services Markets: A Use Case in the German Control Reserve Market はコメントを受け付けていません

Schur’s Positive-Definite Network: Deep Learning in the SPD cone with structure

投稿日: 2025年3月24日 作成者: jarxiv

要約

対称陽性 – 決定（SPD）コーンの推定マトリックスは、コンピュータービジョンからグラフ学習まで、多くのアプリケーションで興味深いものです。
さまざまな凸最適化ベースの推定器が存在しますが、モデルベースのアプローチにより、表現力が限られたままです。
深い学習の成功は、学習ベースのアプローチの使用を動機付け、SPDマトリックスをデータ駆動型の方法でニューラルネットワークと推定します。
ただし、SPD学習のための効果的なニューラルアーキテクチャの設計は、特に要素ごとのスパースなどの追加の構造的制約が必要な場合、困難です。
現在のアプローチは、出力がすべての望ましいプロパティを満たしたり、表現力を欠いていることを保証しません。
この論文では、SPD出力を保証し、追加の構造的制約をサポートする斬新で一般的な学習モジュールであるSpodnetを紹介します。
特に、SPDとスパースマトリックスを共同で学習するという挑戦的なタスクを解決します。
私たちの実験は、そのようなアプリケーションのSpodNet層の汎用性と関連性を示しています。

要約(オリジナル)

Estimating matrices in the symmetric positive-definite (SPD) cone is of interest for many applications ranging from computer vision to graph learning. While there exist various convex optimization-based estimators, they remain limited in expressivity due to their model-based approach. The success of deep learning motivates the use of learning-based approaches to estimate SPD matrices with neural networks in a data-driven fashion. However, designing effective neural architectures for SPD learning is challenging, particularly when the task requires additional structural constraints, such as element-wise sparsity. Current approaches either do not ensure that the output meets all desired properties or lack expressivity. In this paper, we introduce SpodNet, a novel and generic learning module that guarantees SPD outputs and supports additional structural constraints. Notably, it solves the challenging task of learning jointly SPD and sparse matrices. Our experiments illustrate the versatility and relevance of SpodNet layers for such applications.

arxiv情報

著者 Can Pouliquen,Mathurin Massias,Titouan Vayer
発行日 2025-03-21 15:31:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Schur’s Positive-Definite Network: Deep Learning in the SPD cone with structure はコメントを受け付けていません

LoGoFair: Post-Processing for Local and Global Fairness in Federated Learning

投稿日: 2025年3月24日 作成者: jarxiv

要約

Federated Learning（FL）は、分散型のデータソースから学習する能力に対してかなりの関心を集めています。
意思決定シナリオでのFLの適用の増加を考えると、FLのさまざまな敏感なグループ（例：女性、男性など）にわたる公平性の問題に対処することが重要です。
現在の研究は、多くの場合、各クライアントのデータ（ローカル公平性）またはすべてのクライアントのデータセット全体（グローバルフェアネス）での公平性を促進することに焦点を当てています。
ただし、ローカルまたはグローバルの公平性のみに焦点を当てた既存のアプローチは、2つの重要な課題に対処できません。（\ textBf {ch1}）統計的不均一性の下で、グローバルな公平性はローカルの公平性を暗示するものではなく、逆も同様です。
（\ textbf {ch2}）モデルに依存しない設定の下で公平性を達成します。
前述の課題に取り組むために、このペーパーでは、FLコンテキスト、つまりLogofairでローカルおよびグローバルな公平性の両方を達成するための新しいポストプロセスの枠組みを提案します。
CH1に対処するために、Logofairは、ローカルおよびグローバルな公平性の制約の下でベイズの最適分類器を探すよう努めており、これは確率的な意味で最適な精度フェアネスバランスを攻撃します。
CH2に対処するために、LogoFairは、クライアントが地元の公平性を確保しながらグローバルな公平性を協力して最適化し、それによりFL内の最適な公正分類器を達成できるモデルに依存しないフェデレーションされた後処理手順を採用しています。
3つの実際のデータセットでの実験結果は、提案されたLogofairフレームワークの有効性をさらに示しています。

要約(オリジナル)

Federated learning (FL) has garnered considerable interest for its capability to learn from decentralized data sources. Given the increasing application of FL in decision-making scenarios, addressing fairness issues across different sensitive groups (e.g., female, male) in FL is crucial. Current research often focuses on facilitating fairness at each client’s data (local fairness) or within the entire dataset across all clients (global fairness). However, existing approaches that focus exclusively on either local or global fairness fail to address two key challenges: (\textbf{CH1}) Under statistical heterogeneity, global fairness does not imply local fairness, and vice versa. (\textbf{CH2}) Achieving fairness under model-agnostic setting. To tackle the aforementioned challenges, this paper proposes a novel post-processing framework for achieving both Local and Global Fairness in the FL context, namely LoGoFair. To address CH1, LoGoFair endeavors to seek the Bayes optimal classifier under local and global fairness constraints, which strikes the optimal accuracy-fairness balance in the probabilistic sense. To address CH2, LoGoFair employs a model-agnostic federated post-processing procedure that enables clients to collaboratively optimize global fairness while ensuring local fairness, thereby achieving the optimal fair classifier within FL. Experimental results on three real-world datasets further illustrate the effectiveness of the proposed LoGoFair framework.

arxiv情報

著者 Li Zhang,Chaochao Chen,Zhongxuan Han,Qiyong Zhong,Xiaolin Zheng
発行日 2025-03-21 15:33:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | LoGoFair: Post-Processing for Local and Global Fairness in Federated Learning はコメントを受け付けていません

Calibrated Computation-Aware Gaussian Processes

投稿日: 2025年3月24日 作成者: jarxiv

要約

ガウスのプロセスは、トレーニングセットのサイズでキュービング的にスケーリングすることで有名であり、非常に大きな回帰問題への適用を妨げます。
計算目的のガウスプロセス（CAGPS）は、確率的線形ソルバーを活用して複雑さを軽減することにより、このスケーリングの問題に取り組み、計算の減少による追加の計算の不確実性で後部を広げます。
ただし、最も一般的に使用されるCAGPフレームワークは、（時には劇的に）保守的な不確実性の定量化をもたらし、事後は実際に非現実的になります。
この作業では、利用された確率的線形ソルバーが厳密な統計的な意味で校正されている場合、誘導CAGPも同様であることを証明します。
したがって、基礎となる確率的線形ソルバーのGauss-seide反復の使用に基づいて、新しいCAGPフレームワークであるCAGP-GSを提案します。
CAGP-GSは、テストセットが低次元であり、反復が少ない場合、既存のアプローチと比較して好意的に機能します。
合成問題のキャリブレーション性をテストし、パフォーマンスを大規模なグローバル温度回帰問題の既存のアプローチと比較します。

要約(オリジナル)

Gaussian processes are notorious for scaling cubically with the size of the training set, preventing application to very large regression problems. Computation-aware Gaussian processes (CAGPs) tackle this scaling issue by exploiting probabilistic linear solvers to reduce complexity, widening the posterior with additional computational uncertainty due to reduced computation. However, the most commonly used CAGP framework results in (sometimes dramatically) conservative uncertainty quantification, making the posterior unrealistic in practice. In this work, we prove that if the utilised probabilistic linear solver is calibrated, in a rigorous statistical sense, then so too is the induced CAGP. We thus propose a new CAGP framework, CAGP-GS, based on using Gauss-Seidel iterations for the underlying probabilistic linear solver. CAGP-GS performs favourably compared to existing approaches when the test set is low-dimensional and few iterations are performed. We test the calibratedness on a synthetic problem, and compare the performance to existing approaches on a large-scale global temperature regression problem.

arxiv情報

著者 Disha Hegde,Mohamed Adil,Jon Cockayne
発行日 2025-03-21 15:45:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, stat.ML | Calibrated Computation-Aware Gaussian Processes はコメントを受け付けていません

AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution

投稿日: 2025年3月24日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の動作に対するコンテキスト入力の影響により、LLMの世代に対する各コンテキストスパンの効果を定量化することを目的とするコンテキスト属性方法の開発が促されました。
コンテキストの特定のスパンが削除された場合のLLMの応答の可能性の変化を測定する休暇（LOO）エラーは、コンテキスト属性を実行するための原則的な方法を提供しますが、大規模なモデルを計算するために法外に費用がかかる可能性があります。
この作業では、コンテキスト属性のLOO誤差の近似を効率的に計算するための一連の新しい技術であるAttribotを紹介します。
具体的には、Attribotはキャッシュされたアクティベーションを使用して冗長操作を回避し、階層的属性を実行して計算を削減し、より小さなプロキシモデルで大きなターゲットモデルの動作をエミュレートします。
まとめると、Attribotは、以前のコンテキストの帰属方法よりもターゲットモデルのLOOエラーに忠実でありながら、300倍以上のスピードアップを提供できます。
このパフォーマンスの上昇により、特定の応答のコンピューティングコンテキストの属性が、応答自体を生成するよりも30倍高速になり、大規模なコンピューティング属性を必要とする実際のアプリケーションに力を与えます。
効率的なLLM解釈可能性を有効にするために、ユーザーフレンドリーで効率的なAttribotの実装をリリースし、効率的なコンテキスト属性方法の将来の開発を促進します。

要約(オリジナル)

The influence of contextual input on the behavior of large language models (LLMs) has prompted the development of context attribution methods that aim to quantify each context span’s effect on an LLM’s generations. The leave-one-out (LOO) error, which measures the change in the likelihood of the LLM’s response when a given span of the context is removed, provides a principled way to perform context attribution, but can be prohibitively expensive to compute for large models. In this work, we introduce AttriBoT, a series of novel techniques for efficiently computing an approximation of the LOO error for context attribution. Specifically, AttriBoT uses cached activations to avoid redundant operations, performs hierarchical attribution to reduce computation, and emulates the behavior of large target models with smaller proxy models. Taken together, AttriBoT can provide a >300x speedup while remaining more faithful to a target model’s LOO error than prior context attribution methods. This stark increase in performance makes computing context attributions for a given response 30x faster than generating the response itself, empowering real-world applications that require computing attributions at scale. We release a user-friendly and efficient implementation of AttriBoT to enable efficient LLM interpretability as well as encourage future development of efficient context attribution methods.

arxiv情報

著者 Fengyuan Liu,Nikhil Kandpal,Colin Raffel
発行日 2025-03-21 15:47:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution はコメントを受け付けていません

On Privately Estimating a Single Parameter

投稿日: 2025年3月24日 作成者: jarxiv

要約

大規模なパラメトリックモデル内の個々のパラメーターについて、差次的にプライベート推定器を調査します。
一般的なプライベート推定器が存在しますが、推定器は、推定と安定性の新しいローカル概念に安定しており、これらの概念は、独自の安定性の個人証明書を提供する手順を可能にします。
これらのプライベート証明書を活用することにより、少なくともサンプルサイズで漸近的に、本質的にはっきりしないプライベート統計をリリースする計算的および統計的効率的なメカニズムを提供します。
さらに、シミュレートされたデータとアメリカのコミュニティ調査と米国国勢調査の実際のデータの両方におけるアルゴリズムの実用性を調査し、新しい手順が成功するシナリオを強調し、将来の仕事の領域を特定します。

要約(オリジナル)

We investigate differentially private estimators for individual parameters within larger parametric models. While generic private estimators exist, the estimators we provide repose on new local notions of estimand stability, and these notions allow procedures that provide private certificates of their own stability. By leveraging these private certificates, we provide computationally and statistical efficient mechanisms that release private statistics that are, at least asymptotically in the sample size, essentially unimprovable: they achieve instance optimal bounds. Additionally, we investigate the practicality of the algorithms both in simulated data and in real-world data from the American Community Survey and US Census, highlighting scenarios in which the new procedures are successful and identifying areas for future work.

arxiv情報

著者 Hilal Asi,John C. Duchi,Kunal Talwar
発行日 2025-03-21 15:57:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG, math.ST, stat.TH | On Privately Estimating a Single Parameter はコメントを受け付けていません

Learning to Solve Related Linear Systems

投稿日: 2025年3月24日 作成者: jarxiv

要約

複数のパラメータ化された関連システムを解決することは、多くの数値タスクの重要なコンポーネントです。
解決されたシステムと学習から強度を借りると、このプロセスがより速くなります。
この作業では、パラメーター空間上に新しい確率的線形ソルバーを提案します。
これにより、回帰設定で解決された線形システムからの情報を活用して、効率的な後方平均と共分散を提供します。
これを、前処理されたコンジュゲート勾配法のコンパニオン回帰モデルとして使用することを提唱し、後部平均と共分散の好ましい特性と初期の推測と前処理者として議論します。
また、このコンパニオンソルバーにいくつかのデザインの選択肢を提供しています。
数値実験は、ハイパーパラメーターの最適化問題で新しいソルバーを使用することの利点を示しています。

要約(オリジナル)

Solving multiple parametrised related systems is an essential component of many numerical tasks. Borrowing strength from the solved systems and learning will make this process faster. In this work, we propose a novel probabilistic linear solver over the parameter space. This leverages information from the solved linear systems in a regression setting to provide an efficient posterior mean and covariance. We advocate using this as companion regression model for the preconditioned conjugate gradient method, and discuss the favourable properties of the posterior mean and covariance as the initial guess and preconditioner. We also provide several design choices for this companion solver. Numerical experiments showcase the benefits of using our novel solver in a hyperparameter optimisation problem.

arxiv情報

著者 Disha Hegde,Jon Cockayne
発行日 2025-03-21 16:05:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, stat.ML | Learning to Solve Related Linear Systems はコメントを受け付けていません