Robust Distributed Estimation: Extending Gossip Algorithms to Ranking and Trimmed Means

投稿日: 2025年6月11日 作成者: jarxiv

要約

この論文では、任意の通信グラフ上のゴシップアルゴリズムの堅牢な推定の問題に対処します。
ゴシップアルゴリズムは完全に分散化されており、地元の隣人から隣人のコミュニケーションにのみ依存しているため、コミュニケーションが制約されている状況に適しています。
既存の平均ベースのゴシップアルゴリズムの基本的な課題は、悪意のあるノードまたは破損したノードに対する脆弱性です。
この論文では、堅牢な統計をグローバルに推定することにより、外れ値の頑丈な平均を計算できることを示します。
より具体的には、\ textsc {gorank}と呼ばれるランク推定のための新しいゴシップアルゴリズムを提案し、それを活用して、\ textsc {gotrim}を作成した平均推定をトリミングしたゴシップ手順を設計します。
提案された方法の詳細な説明に加えて、私たちの作業の重要な貢献は正確な収束分析です。ランク推定のために$ \ mathcal {o}（1/t）$レートを確立します。
さらに、\ textsc {gotrim}の分解点分析を提供します。
多様なネットワークトポロジ、データ分布、汚染スキームに関する実験を通じて、理論的結果を経験的に検証します。

要約(オリジナル)

This paper addresses the problem of robust estimation in gossip algorithms over arbitrary communication graphs. Gossip algorithms are fully decentralized, relying only on local neighbor-to-neighbor communication, making them well-suited for situations where communication is constrained. A fundamental challenge in existing mean-based gossip algorithms is their vulnerability to malicious or corrupted nodes. In this paper, we show that an outlier-robust mean can be computed by globally estimating a robust statistic. More specifically, we propose a novel gossip algorithm for rank estimation, referred to as \textsc{GoRank}, and leverage it to design a gossip procedure dedicated to trimmed mean estimation, coined \textsc{GoTrim}. In addition to a detailed description of the proposed methods, a key contribution of our work is a precise convergence analysis: we establish an $\mathcal{O}(1/t)$ rate for rank estimation and an $\mathcal{O}((\log t)/\sqrt{t})$ rate for trimmed mean estimation, where by $t$ is meant the number of iterations. Moreover, we provide a breakdown point analysis of \textsc{GoTrim}. We empirically validate our theoretical results through experiments on diverse network topologies, data distributions and contamination schemes.

arxiv情報

著者 Anna Van Elst,Igor Colin,Stephan Clémençon
発行日 2025-06-10 16:53:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.ML | Robust Distributed Estimation: Extending Gossip Algorithms to Ranking and Trimmed Means はコメントを受け付けていません

Pruning Spurious Subgraphs for Graph Out-of-Distribtuion Generalization

投稿日: 2025年6月11日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）は、トレーニングとテストデータの間の分布シフトで大幅なパフォーマンスの劣化に遭遇し、実際のシナリオでの適用性を妨げます。
最近の研究では、分散除外一般化の課題に対処するためのさまざまな方法が提案されており、グラフドメイン内の多くの方法がターゲットラベルを予測する不変サブグラフを直接識別することに焦点を当てています。
ただし、特にいくつかの偽のエッジがターゲットと強い相関関係を示す場合、不変サブグラフからのエッジを直接識別することは挑戦的でエラーが発生しやすいと主張します。
このホワイトペーパーでは、スプリアスエッジを排除してOODの一般化可能性を向上させる最初のプルーニングベースのグラフOODメソッドであるPruneを提案します。
プルーニングエッジを剪定することにより、プルーンは不変サブグラフをより包括的に保持します。これは、OOD一般化にとって重要です。
具体的には、Pruneは2つの正規化用語を使用してスプリアスエッジをプルネットします。1）グラフサイズの制約は、情報のないスプリアスエッジを除外し、2）$ \ epsilon $プロビーズアライメントを除外して、偽のエッジの発生をさらに抑制します。
理論分析と広範な実験を通じて、Pruneは優れたOODパフォーマンスを達成し、以前の最先端の方法を大幅に上回ることを示します。
コードは、\ href {https://github.com/tianyao-aka/prune-graphood} {https://github.com/tianyao-aka/prune-graphood}で入手できます。

要約(オリジナル)

Graph Neural Networks (GNNs) often encounter significant performance degradation under distribution shifts between training and test data, hindering their applicability in real-world scenarios. Recent studies have proposed various methods to address the out-of-distribution generalization challenge, with many methods in the graph domain focusing on directly identifying an invariant subgraph that is predictive of the target label. However, we argue that identifying the edges from the invariant subgraph directly is challenging and error-prone, especially when some spurious edges exhibit strong correlations with the targets. In this paper, we propose PrunE, the first pruning-based graph OOD method that eliminates spurious edges to improve OOD generalizability. By pruning spurious edges, PrunE retains the invariant subgraph more comprehensively, which is critical for OOD generalization. Specifically, PrunE employs two regularization terms to prune spurious edges: 1) graph size constraint to exclude uninformative spurious edges, and 2) $\epsilon$-probability alignment to further suppress the occurrence of spurious edges. Through theoretical analysis and extensive experiments, we show that PrunE achieves superior OOD performance and outperforms previous state-of-the-art methods significantly. Codes are available at: \href{https://github.com/tianyao-aka/PrunE-GraphOOD}{https://github.com/tianyao-aka/PrunE-GraphOOD}.

arxiv情報

著者 Tianjun Yao,Haoxuan Li,Yongqiang Chen,Tongliang Liu,Le Song,Eric Xing,Zhiqiang Shen
発行日 2025-06-10 16:58:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, I.2.6 | Pruning Spurious Subgraphs for Graph Out-of-Distribtuion Generalization はコメントを受け付けていません

Branched Schrödinger Bridge Matching

投稿日: 2025年6月11日 作成者: jarxiv

要約

初期分布とターゲット分布の間の中間軌道を予測することは、生成モデリングの中心的な問題です。
フローマッチングやschr \ ‘odingerブリッジマッチングなどの既存のアプローチは、単一の確率的パスをモデル化することにより、2つの分布間のマッピングを効果的に学習します。
ただし、これらの方法は本質的に単峰性の遷移に限定されており、共通の起源から複数の異なる結果への分岐または発散の進化をキャプチャすることはできません。
これに対処するために、分岐したSchr \ ‘Odinger Bridge Matching（BranchsBM）を紹介します。
BranchsBMは、複数の時間依存速度フィールドと成長プロセスをパラメーター化し、複数の端子分布への人口レベルの発散を表現することを可能にします。
BranchsBMは、より表現力豊かであるだけでなく、マルチパス表面ナビゲーション、均質な前駆細胞状態からの細胞運命分岐のモデリング、および摂動への分岐した細胞応答のシミュレーションを含むタスクにも不可欠であることを示します。

要約(オリジナル)

Predicting the intermediate trajectories between an initial and target distribution is a central problem in generative modeling. Existing approaches, such as flow matching and Schr\’odinger Bridge Matching, effectively learn mappings between two distributions by modeling a single stochastic path. However, these methods are inherently limited to unimodal transitions and cannot capture branched or divergent evolution from a common origin to multiple distinct outcomes. To address this, we introduce Branched Schr\’odinger Bridge Matching (BranchSBM), a novel framework that learns branched Schr\’odinger bridges. BranchSBM parameterizes multiple time-dependent velocity fields and growth processes, enabling the representation of population-level divergence into multiple terminal distributions. We show that BranchSBM is not only more expressive but also essential for tasks involving multi-path surface navigation, modeling cell fate bifurcations from homogeneous progenitor states, and simulating diverging cellular responses to perturbations.

arxiv情報

著者 Sophia Tang,Yinuo Zhang,Alexander Tong,Pranam Chatterjee
発行日 2025-06-10 17:29:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Branched Schrödinger Bridge Matching はコメントを受け付けていません

Curvature Tuning: Provable Training-free Model Steering From a Single Parameter

投稿日: 2025年6月11日 作成者: jarxiv

要約

モデルとデータサイズのスケーリングにより、AIランドスケープが再構築され、下流タスクを解くための標準的なパラダイムとしての微調整前のモデルが確立されました。
ただし、支配的な微調整方法は通常、体重の適応に依存しており、多くの場合、解釈可能性が欠けており、ヒューリスティックに選択されたハイパーパラメーターに依存します。
この論文では、別の視点を取り、重みから活性化機能に焦点を移し、スプライン演算子のレンズを通してそれらを表示します。
単一のハイパーパラメーターを活性化関数に注入することにより、モデルの決定境界を変調する解釈可能かつ原則的なステアリング方法である曲率チューニング（CT）を提案します。
CTは、モデルの決定境界の曲率を証明し、より根本的に、モデルを滑らかな機能の空間に投影することを示しています。
このハイパーパラメーターをトレーニング可能にすることで、斬新で非常にパラメーター効率の高い微調整方法が生まれます。
経験的に、CTは一般化と堅牢性の両方を改善します。
たとえば、ResNet-50/152の下流の精度を、線形プロービングで7.14％/8.46％、12データセット全体でLORAで4.64％/1.70％で高め、1032.64％/1494.46％までに$ \ eLL_ \ inftty $ベンチマークの堅牢な精度を向上させます。
私たちのコードは、https：//github.com/leon-leyang/curvature-tuningで入手できます。

要約(オリジナル)

The scaling of model and data sizes has reshaped the AI landscape, establishing finetuning pretrained models as the standard paradigm for solving downstream tasks. However, dominant finetuning methods typically rely on weight adaptation, often lack interpretability, and depend on heuristically chosen hyperparameters. In this paper, we take a different perspective and shift the focus from weights to activation functions, viewing them through the lens of spline operators. We propose Curvature Tuning (CT), an interpretable and principled steering method that modulates a model’s decision boundary by injecting a single hyperparameter into its activation functions. We show that CT provably adjusts model decision boundary curvature and, more fundamentally, projects a model onto a space of smooth functions-thereby complementing current finetuning methods, whose effect lies primarily in feature adaptation. Making this hyperparameter trainable gives rise to a novel and highly parameter-efficient finetuning method. Empirically, CT improves both generalization and robustness. For example, it boosts downstream accuracy of ResNet-50/152 by 7.14%/8.46% over linear probing and 4.64%/1.70% over LoRA across 12 datasets, and improves robust accuracy on the $\ell_\infty$ benchmark from RobustBench by 1032.64%/1494.46%. Our code is available at https://github.com/Leon-Leyang/curvature-tuning.

arxiv情報

著者 Leyang Hu,Matteo Gamba,Randall Balestriero
発行日 2025-06-10 17:37:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Curvature Tuning: Provable Training-free Model Steering From a Single Parameter はコメントを受け付けていません

Effective Data Pruning through Score Extrapolation

投稿日: 2025年6月11日 作成者: jarxiv

要約

高度な機械学習モデルのトレーニングには、大規模なデータセットが必要であり、その結果、法外な計算コストが生じます。
この課題に対処するために、データプルーニング手法は、モデルのパフォーマンスを維持しながら、冗長トレーニングサンプルを特定して削除します。
しかし、既存の剪定技術では、主に取り外し可能なサンプルを特定するために完全な初期トレーニングパスが必要であり、単一のトレーニングの実行の効率的な利点を無効にします。
この制限を克服するために、データのわずかなサブセットのみでトレーニングを必要とする新しい重要性スコア外挿フレームワークを紹介します。
このフレームワークでは、この最小限のサブセットから学んだパターンを使用してデータセット全体のサンプルの重要性を正確に予測するために、このフレームワークで2つの初期アプローチを提示します。
2つの最先端の剪定方法（動的な不確実性とTDD）、4つの異なるデータセット（CIFAR-10、CIFAR-100、Places-365、およびImagenet）、および3つのトレーニングパラダイム（監督、監督なし、および副詞）のアプローチの有効性を実証します。
私たちの結果は、スコアの外挿が剪定、データの帰属、その他のタスクなどの高価なスコア計算方法を拡大するための有望な方向であることを示しています。

要約(オリジナル)

Training advanced machine learning models demands massive datasets, resulting in prohibitive computational costs. To address this challenge, data pruning techniques identify and remove redundant training samples while preserving model performance. Yet, existing pruning techniques predominantly require a full initial training pass to identify removable samples, negating any efficiency benefits for single training runs. To overcome this limitation, we introduce a novel importance score extrapolation framework that requires training on only a small subset of data. We present two initial approaches in this framework – k-nearest neighbors and graph neural networks – to accurately predict sample importance for the entire dataset using patterns learned from this minimal subset. We demonstrate the effectiveness of our approach for 2 state-of-the-art pruning methods (Dynamic Uncertainty and TDDS), 4 different datasets (CIFAR-10, CIFAR-100, Places-365, and ImageNet), and 3 training paradigms (supervised, unsupervised, and adversarial). Our results indicate that score extrapolation is a promising direction to scale expensive score calculation methods, such as pruning, data attribution, or other tasks.

arxiv情報

著者 Sebastian Schmidt,Prasanga Dhungel,Christoffer Löffler,Björn Nieth,Stephan Günnemann,Leo Schwinn
発行日 2025-06-10 17:38:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Effective Data Pruning through Score Extrapolation はコメントを受け付けていません

SPEED-RL: Faster Training of Reasoning Models via Online Curriculum Learning

投稿日: 2025年6月11日 作成者: jarxiv

要約

検証可能な報酬に対して強化学習（RL）で大規模な言語モデルをトレーニングすることは、推論能力を大幅に向上させますが、非効率的な均一な迅速なサンプリングのために計算上高価なままです。
難易度（速度）の効率的な推定（速度）で選択的プロンプトを導入します。これは、学習効率を最大化するために中間難易度のトレーニング例を選択的に選択する適応的なオンラインRLカリキュラムを選択します。
理論的には、中程度の困難なプロンプトが勾配推定器の信号対雑音比を改善し、収束を加速することを確立します。
経験的に、当社の効率的な実装は、精度を低下させることなく2倍から6倍のトレーニングにつながり、手動チューニングを必要とせず、標準のRLアルゴリズムにシームレスに統合します。

要約(オリジナル)

Training large language models with reinforcement learning (RL) against verifiable rewards significantly enhances their reasoning abilities, yet remains computationally expensive due to inefficient uniform prompt sampling. We introduce Selective Prompting with Efficient Estimation of Difficulty (SPEED), an adaptive online RL curriculum that selectively chooses training examples of intermediate difficulty to maximize learning efficiency. Theoretically, we establish that intermediate-difficulty prompts improve the gradient estimator’s signal-to-noise ratio, accelerating convergence. Empirically, our efficient implementation leads to 2x to 6x faster training without degrading accuracy, requires no manual tuning, and integrates seamlessly into standard RL algorithms.

arxiv情報

著者 Ruiqi Zhang,Daman Arora,Song Mei,Andrea Zanette
発行日 2025-06-10 17:42:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SPEED-RL: Faster Training of Reasoning Models via Online Curriculum Learning はコメントを受け付けていません

Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing

投稿日: 2025年6月11日 作成者: jarxiv

要約

MLモデルは重要なアプリケーションでますます展開されているため、敵対的な摂動に対する堅牢性が重要です。
そのような攻撃に対抗するために多数の防御が提案されていますが、彼らは通常、すべての敵対的な変換も同様に重要であると仮定しています。
これに対処するために、私たちは、さまざまなタイプの誤分類の潜在的な害がコストマトリックスでエンコードされるコスト感受性シナリオの下で、敵対的な摂動に対する堅牢な学習の問題を研究します。
当社のソリューションでは、ランダム化された平滑化のスケーラブルな認証フレームワークに基づいて、コストに敏感な堅牢性を認証および最適化するために、証明された堅牢な学習アルゴリズムを導入します。
具体的には、コストに敏感な認定半径の定義を正式にし、標準認証アルゴリズムの新しい適応を提案して、コストマトリックスに合わせて調整された堅牢性証明書を生成します。
さらに、モデルの精度を損なうことなく、認定された費用に敏感な堅牢性を向上させる堅牢なトレーニング方法を設計します。
既存の方法では解決できない挑戦的なデータセットを含むベンチマークデータセットに関する広範な実験は、さまざまなコストに敏感なシナリオにわたる認証アルゴリズムとトレーニング方法の有効性を示しています。

要約(オリジナル)

As ML models are increasingly deployed in critical applications, robustness against adversarial perturbations is crucial. While numerous defenses have been proposed to counter such attacks, they typically assume that all adversarial transformations are equally important, an assumption that rarely aligns with real-world applications. To address this, we study the problem of robust learning against adversarial perturbations under cost-sensitive scenarios, where the potential harm of different types of misclassifications is encoded in a cost matrix. Our solution introduces a provably robust learning algorithm to certify and optimize for cost-sensitive robustness, building on the scalable certification framework of randomized smoothing. Specifically, we formalize the definition of cost-sensitive certified radius and propose our novel adaptation of the standard certification algorithm to generate tight robustness certificates tailored to any cost matrix. In addition, we design a robust training method that improves certified cost-sensitive robustness without compromising model accuracy. Extensive experiments on benchmark datasets, including challenging ones unsolvable by existing methods, demonstrate the effectiveness of our certification algorithm and training method across various cost-sensitive scenarios.

arxiv情報

著者 Yuan Xin,Dingfan Chen,Michael Backes,Xiao Zhang
発行日 2025-06-10 17:50:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing はコメントを受け付けていません

Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery

投稿日: 2025年6月11日 作成者: jarxiv

要約

Multi-Indexモデルは、低次元構造を持つ機能の学習性を調査するための一般的なフレームワークを提供し、また、ニューラルネットワークとのつながりのために、最近の集中的な研究の対象となっています。
このホワイトペーパーでは、スペクトル推定器を介して信号によって範囲のサブスペースの回復に焦点を当てています。これは、実際に使用される方法のファミリーであり、多くの場合、反復アルゴリズムのウォームスタートとして使用されます。
私たちの主な技術的貢献は、サンプルサイズと入力寸法が比例して成長し、回復するスペースの寸法$ p $が固定された場合、スペクトル法のパフォーマンスの正確な漸近特性評価です。
具体的には、スペクトルマトリックスの上部$ p $固有値を見つけ、対応する固有ベクトル（スペクトル推定量を与える）と信号部分空間の基礎との間の重複を確立します。
私たちの分析は、サンプルの複雑さが成長するにつれて、固有値がスペクトルの大部分から逃げ出し、それが起こると、固有ベクトルが望ましいサブスペースの方向を回復する位相遷移現象を明らかにします。
提案した正確な特性評価により、データの前処理の最適化が可能になり、弱い回復に最小限のサンプルサイズを必要とするスペクトル推定器を識別できます。

要約(オリジナル)

Multi-index models provide a popular framework to investigate the learnability of functions with low-dimensional structure and, also due to their connections with neural networks, they have been object of recent intensive study. In this paper, we focus on recovering the subspace spanned by the signals via spectral estimators — a family of methods routinely used in practice, often as a warm-start for iterative algorithms. Our main technical contribution is a precise asymptotic characterization of the performance of spectral methods, when sample size and input dimension grow proportionally and the dimension $p$ of the space to recover is fixed. Specifically, we locate the top-$p$ eigenvalues of the spectral matrix and establish the overlaps between the corresponding eigenvectors (which give the spectral estimators) and a basis of the signal subspace. Our analysis unveils a phase transition phenomenon in which, as the sample complexity grows, eigenvalues escape from the bulk of the spectrum and, when that happens, eigenvectors recover directions of the desired subspace. The precise characterization we put forward enables the optimization of the data preprocessing, thus allowing to identify the spectral estimator that requires the minimal sample size for weak recovery.

arxiv情報

著者 Filip Kovačević,Yihan Zhang,Marco Mondelli
発行日 2025-06-10 17:54:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT, math.PR, math.ST, stat.ML, stat.TH | Spectral Estimators for Multi-Index Models: Precise Asymptotics and Optimal Weak Recovery はコメントを受け付けていません

Optimal Spectral Transitions in High-Dimensional Multi-Index Models

投稿日: 2025年6月11日 作成者: jarxiv

要約

関連するインデックスサブスペースを弱く再構築するために、ガウスマルチインデックスモデルからのサンプルの数が必要であるという問題を検討します。
ニューラルネットワークの計算の複雑さを調査するためのテストベッドとしての人気が高まっているにもかかわらず、単一インデックスの設定を超えた結果はとらえどころのないままです。
この作業では、この問題に合わせたメッセージパススキームの線形化に基づいて、スペクトルアルゴリズムを紹介します。
私たちの主な貢献は、提案された方法が最適な再構成のしきい値を達成することを示すことです。
アルゴリズムの高次元特性評価を活用すると、臨界しきい値を超えて、主要な固有ベクトルが、ランダムマトリックス理論で発生するスパイクモデルにおけるBaik-ben arous-peche（BBP）遷移を連想させる関連現象である関連するインデックスサブスペースと相関することを示します。
数値実験と厳密な理論的枠組みにサポートされている私たちの作業は、マルチインデックスモデルの弱い学習可能性の計算制限の重要なギャップを橋渡しします。

要約(オリジナル)

We consider the problem of how many samples from a Gaussian multi-index model are required to weakly reconstruct the relevant index subspace. Despite its increasing popularity as a testbed for investigating the computational complexity of neural networks, results beyond the single-index setting remain elusive. In this work, we introduce spectral algorithms based on the linearization of a message passing scheme tailored to this problem. Our main contribution is to show that the proposed methods achieve the optimal reconstruction threshold. Leveraging a high-dimensional characterization of the algorithms, we show that above the critical threshold the leading eigenvector correlates with the relevant index subspace, a phenomenon reminiscent of the Baik-Ben Arous-Peche (BBP) transition in spiked models arising in random matrix theory. Supported by numerical experiments and a rigorous theoretical framework, our work bridges critical gaps in the computational limits of weak learnability in multi-index model.

arxiv情報

著者 Leonardo Defilippis,Yatin Dandi,Pierre Mergny,Florent Krzakala,Bruno Loureiro
発行日 2025-06-10 17:55:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cs.LG | Optimal Spectral Transitions in High-Dimensional Multi-Index Models はコメントを受け付けていません

The Decoupled Risk Landscape in Performative Prediction

投稿日: 2025年6月11日 作成者: jarxiv

要約

パフォーマンス予測は、モデルを展開すると、個人の機能を変更したり、拒否後に銀行ローンを再申請するなど、入力データの分布シフトを誘導するシナリオに対処します。
文献には、収束の数学的保証（安定または最適なポイントまで）を与える理論的視点がありました。
私たちは、損失の状況の視覚化は、この理論的進歩を実用的な洞察で補完できると考えています。
したがって、（1）パフォーマンスの予測がある2段階のプロセスにインスパイアされた単純な分離リスク視覚化方法を導入します。
私たちのアプローチは、モデルパラメーターとデータパラメーターの2つのパラメーターベクトルに関するリスクランドスケープを視覚化します。
この方法を使用して、関心ポイントの新しいプロパティを提案し、既存のアルゴリズムがリスクランドスケープを通過する方法を調べ、非線形モデルを使用した戦略的分類を含むより現実的な条件下で実行する方法を調べます。
（2）この分離されたリスクの視覚化に基づいて、分布が意思決定モデルとは異なるモデルに反応するシナリオをキャプチャする新しい設定 – 拡張性能予測 – を導入し、エージェントが展開されたモデルへの完全なアクセスをしばしば欠いているという現実を反映しています。

要約(オリジナル)

Performative Prediction addresses scenarios where deploying a model induces a distribution shift in the input data, such as individuals modifying their features and reapplying for a bank loan after rejection. Literature has had a theoretical perspective giving mathematical guarantees for convergence (either to the stable or optimal point). We believe that visualization of the loss landscape can complement this theoretical advances with practical insights. Therefore, (1) we introduce a simple decoupled risk visualization method inspired in the two-step process that performative prediction is. Our approach visualizes the risk landscape with respect to two parameter vectors: model parameters and data parameters. We use this method to propose new properties of the interest points, to examine how existing algorithms traverse the risk landscape and perform under more realistic conditions, including strategic classification with non-linear models. (2) Building on this decoupled risk visualization, we introduce a novel setting – extended Performative Prediction – which captures scenarios where the distribution reacts to a model different from the decision-making one, reflecting the reality that agents often lack full access to the deployed model.

arxiv情報

著者 Javier Sanguino,Thomas Kehrenberg,Jose A. Lozano,Novi Quadrianto
発行日 2025-06-10 17:58:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | The Decoupled Risk Landscape in Performative Prediction はコメントを受け付けていません