Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference

投稿日: 2025年4月25日 作成者: jarxiv

要約

静的と動的の解を近似する2つのニューラルネットワークアプローチを提示します
$ \ unicode {x1d450} \ unicode {x1d45c} \ unicode {x1d45b} \ unicode {x1d451} \ unicode {x1d456} \ unicode {x1d461} \ unicode {x1d456} \ un
icode {x1d45c} \ unicode {x1d45b} \ unicode {x1d44e} \ unicode {x1d459} \ unicode {x0020} \ unicode {x1d45c} \ unicode {x1d45d} \ unicode
{x1d461} \ unicode {x1d456} \ unicode {x1d45a} \ unicode {x1d44e} \ unicode {x1d459} \ unicode {x0020} \ unicode {x1d461} \ unicode {x1d4
5f} \ unicode {x1d44e} \ unicode {x1d45b} \ unicode {x1d460} \ unicode {x1d45d} \ unicode {x1d45c} \ unicode {x1d45f} \ unicode {x1d461
（COT）問題。
どちらのアプローチでも、条件付きサンプリングと条件付き密度推定が可能になります。これは、ベイジアン推論$ \ unicode {x2013} $のコアタスクであり、特にシミュレーションベース（$ \ unicode {x201c} $ likelihood $ \ unicode {x201d} $）の設定です。
私たちの方法は、扱いやすい基準分布の変換としてのターゲット条件分布を表しています。
ここで選択されたこのような変換をCOTマップの近似であるため、中程度の寸法であっても計算上困難です。
スケーラビリティを向上させるために、数値アルゴリズムはニューラルネットワークを使用して候補マップをパラメーター化し、COT問題の構造をさらに活用します。
私たちの静的アプローチは、部分的に入力継続的なニューラルネットワークの勾配としてマップを近似しています。
新しい数値実装を使用して、最先端の代替品と比較して計算効率を高めます。
私たちの動的なアプローチは、正規化された神経オードのフローマップを介して条件付き最適輸送に近似しています。
静的アプローチと比較して、トレーニングが遅くなりますが、より多くのモデリングの選択肢を提供し、サンプリングをより速くすることができます。
両方のアルゴリズムを数値的に示し、ベンチマークデータセットとシミュレーションベースのベイジアン逆問題を使用して、競合する最先端のアプローチと比較します。

要約(オリジナル)

We present two neural network approaches that approximate the solutions of static and dynamic $\unicode{x1D450}\unicode{x1D45C}\unicode{x1D45B}\unicode{x1D451}\unicode{x1D456}\unicode{x1D461}\unicode{x1D456}\unicode{x1D45C}\unicode{x1D45B}\unicode{x1D44E}\unicode{x1D459}\unicode{x0020}\unicode{x1D45C}\unicode{x1D45D}\unicode{x1D461}\unicode{x1D456}\unicode{x1D45A}\unicode{x1D44E}\unicode{x1D459}\unicode{x0020}\unicode{x1D461}\unicode{x1D45F}\unicode{x1D44E}\unicode{x1D45B}\unicode{x1D460}\unicode{x1D45D}\unicode{x1D45C}\unicode{x1D45F}\unicode{x1D461}$ (COT) problems. Both approaches enable conditional sampling and conditional density estimation, which are core tasks in Bayesian inference$\unicode{x2013}$particularly in the simulation-based ($\unicode{x201C}$likelihood-free$\unicode{x201D}$) setting. Our methods represent the target conditional distribution as a transformation of a tractable reference distribution. Obtaining such a transformation, chosen here to be an approximation of the COT map, is computationally challenging even in moderate dimensions. To improve scalability, our numerical algorithms use neural networks to parameterize candidate maps and further exploit the structure of the COT problem. Our static approach approximates the map as the gradient of a partially input-convex neural network. It uses a novel numerical implementation to increase computational efficiency compared to state-of-the-art alternatives. Our dynamic approach approximates the conditional optimal transport via the flow map of a regularized neural ODE; compared to the static approach, it is slower to train but offers more modeling choices and can lead to faster sampling. We demonstrate both algorithms numerically, comparing them with competing state-of-the-art approaches, using benchmark datasets and simulation-based Bayesian inverse problems.

arxiv情報

著者 Zheyu Oliver Wang,Ricardo Baptista,Youssef Marzouk,Lars Ruthotto,Deepanshu Verma
発行日 2025-04-24 15:22:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62F15, 62M45, cs.LG, stat.ML | コメントする

Robot Pouring: Identifying Causes of Spillage and Selecting Alternative Action Parameters Using Probabilistic Actual Causation

投稿日: 2025年4月25日 作成者: jarxiv

要約

日常生活では、多種多様なオブジェクトと目標を含むタスク（たとえば、料理や掃除）を実行します。
予期しないまたは望ましくない結果に直面したとき、私たちは是正措置を講じ、望ましい結果を達成するまで再試行します。
観察された結果の原因を特定し、適切な是正措置を選択するために実行された理由は、タスク実行を成功させるための人間の推論の重要な側面です。
この推論の中心は、観察された結果を生成する要因が原因であるという仮定です。
この論文では、確率的な実際の因果関係の使用を調査して、因子が観察された望ましくない結果の原因であるかどうかを判断します。
さらに、実際の因果関係の確率を使用して、結果を変えるための代替アクションを見つける方法を示します。
確率的な実際の因果分析をロボット注入タスクに適用します。
流出が発生すると、分析では、タスクパラメーターが原因であるかどうか、および流出を避けるために変更する方法を示します。
分析には、タスクの因果グラフと対応する条件付き確率分布が必要です。
これらの要件を満たすために、完全な因果モデリング手順（すなわち、タスク分析、変数の定義、因果グラフ構造の決定、および条件付き確率分布の推定）を実行します。
結果に基づいて、変数の表現の意味と、実際の因果分析によって示唆された代替アクションが、人間の観察者によって提案された代替ソリューションと比較される方法について説明します。
代替アクションパラメーターを選択するための確率的実際の因果関係の分析の実際的な使用が実証されています。

要約(オリジナル)

In everyday life, we perform tasks (e.g., cooking or cleaning) that involve a large variety of objects and goals. When confronted with an unexpected or unwanted outcome, we take corrective actions and try again until achieving the desired result. The reasoning performed to identify a cause of the observed outcome and to select an appropriate corrective action is a crucial aspect of human reasoning for successful task execution. Central to this reasoning is the assumption that a factor is responsible for producing the observed outcome. In this paper, we investigate the use of probabilistic actual causation to determine whether a factor is the cause of an observed undesired outcome. Furthermore, we show how the actual causation probabilities can be used to find alternative actions to change the outcome. We apply the probabilistic actual causation analysis to a robot pouring task. When spillage occurs, the analysis indicates whether a task parameter is the cause and how it should be changed to avoid spillage. The analysis requires a causal graph of the task and the corresponding conditional probability distributions. To fulfill these requirements, we perform a complete causal modeling procedure (i.e., task analysis, definition of variables, determination of the causal graph structure, and estimation of conditional probability distributions) using data from a realistic simulation of the robot pouring task, covering a large combinatorial space of task parameters. Based on the results, we discuss the implications of the variables’ representation and how the alternative actions suggested by the actual causation analysis would compare to the alternative solutions proposed by a human observer. The practical use of the analysis of probabilistic actual causation to select alternative action parameters is demonstrated.

arxiv情報

著者 Jaime Maldonado,Jonas Krumme,Christoph Zetzsche,Vanessa Didelez,Kerstin Schill
発行日 2025-04-24 15:25:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | コメントする

polyGen: A Learning Framework for Atomic-level Polymer Structure Generation

投稿日: 2025年4月25日 作成者: jarxiv

要約

合成ポリマー材料は、エネルギー、電子機器、消費財、医療セクターの基本的な技術を支えていますが、その開発は依然として長期にわたる設計のタイムラインに苦しんでいます。
ポリマー情報学ツールはスピードアップをサポートしていますが、ポリマーシミュレーションプロトコルは重大な課題に直面し続けています。ポリマー構造の立体構造の多様性を尊重する現実的な3D原子構造のオンデマンド生成です。
無機結晶、バイオポリマー、および小分子の3D構造の生成アルゴリズムは存在しますが、合成ポリマーには対処していません。
この作業では、リピートユニット化学のみなどの最小限の入力から現実的なポリマー構造を生成するために特別に設計された最初の潜在拡散モデルであるポリゲンを導入し、アーキテクチャ全体のポリマー接続をキャプチャする分子エンコードを活用します。
わずか3855のDFT最適化ポリマー構造のデータセットが少ないため、DFT最適化された分子構造でトレーニングを強化し、同様の化学構造間の共同学習の改善を示します。
また、この新しい問題に関するアプローチをベンチマークするために、構造マッチング基準を確立します。
ポリゲンは、線形鎖と複雑な分岐構造の両方の多様な立体構造を効果的に生成しますが、その性能は、アトムカウントが高い繰り返しユニットを処理すると低下します。
これらの最初の結果を考えると、ポリゲンはポリマーサイエンスの原子レベル構造生成のパラダイムシフトを表します。これは、本質的な構造の柔軟性を考慮しながら、現実的な原子レベルのポリマーの立体構造を予測するための最初の概念の証明です。

要約(オリジナル)

Synthetic polymeric materials underpin fundamental technologies in the energy, electronics, consumer goods, and medical sectors, yet their development still suffers from prolonged design timelines. Although polymer informatics tools have supported speedup, polymer simulation protocols continue to face significant challenges: on-demand generation of realistic 3D atomic structures that respect the conformational diversity of polymer structures. Generative algorithms for 3D structures of inorganic crystals, bio-polymers, and small molecules exist, but have not addressed synthetic polymers. In this work, we introduce polyGen, the first latent diffusion model designed specifically to generate realistic polymer structures from minimal inputs such as the repeat unit chemistry alone, leveraging a molecular encoding that captures polymer connectivity throughout the architecture. Due to a scarce dataset of only 3855 DFT-optimized polymer structures, we augment our training with DFT-optimized molecular structures, showing improvement in joint learning between similar chemical structures. We also establish structure matching criteria to benchmark our approach on this novel problem. polyGen effectively generates diverse conformations of both linear chains and complex branched structures, though its performance decreases when handling repeat units with a high atom count. Given these initial results, polyGen represents a paradigm shift in atomic-level structure generation for polymer science-the first proof-of-concept for predicting realistic atomic-level polymer conformations while accounting for their intrinsic structural flexibility.

arxiv情報

著者 Ayush Jain,Rampi Ramprasad
発行日 2025-04-24 15:26:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.CE, cs.LG | コメントする

Effortless, Simulation-Efficient Bayesian Inference using Tabular Foundation Models

投稿日: 2025年4月25日 作成者: jarxiv

要約

シミュレーションベースの推論（SBI）は、ベイジアン推論を実行するための柔軟で一般的なアプローチを提供します。SBIでは、ニューラルネットワークはモデルからシミュレートされた合成データでトレーニングされ、観察されたデータの後部分布を迅速に推測するために使用されます。
SBIの重要な目標は、特に高価なシミュレーターの場合、できるだけ少ないシミュレーションで正確な推論を達成することです。
この作業では、表形式データの最近の確率的基礎モデルを再利用することにより、この課題に対処します。表形式の基礎モデル、特にTABPFNが、SBIの事前に訓練された自己回帰条件密度推定器としてどのように使用できるかを示します。
以前のDATA適合ネットワーク（NPE-PF）を使用した神経事後推定を提案し、ベンチマークタスクと2つの複雑な科学的逆問題の両方の精度の観点から、現在のSBIアプローチと競合していることを示しています。
重要なのは、多くの場合、シミュレーション効率の点で大幅に優れていることが多く、シミュレーションが数桁少ない場合があります。
NPE-PFは、推論ネットワークの選択、トレーニング、およびハイパーパラメーターチューニングの必要性を排除します。
また、指定の誤りをモデル化するために優れた堅牢性を示し、TABPFNのコンテキストサイズの制限を超えるシミュレーション予算にスケーリングできることも示しています。
NPE-PFは、SBIに新しい方向性を提供します。SBIでは、トレーニングを受けていない汎用の推論モデルが、幅広い確率的逆問題に対して効率的で使いやすく、柔軟なソリューションを提供します。

要約(オリジナル)

Simulation-based inference (SBI) offers a flexible and general approach to performing Bayesian inference: In SBI, a neural network is trained on synthetic data simulated from a model and used to rapidly infer posterior distributions for observed data. A key goal for SBI is to achieve accurate inference with as few simulations as possible, especially for expensive simulators. In this work, we address this challenge by repurposing recent probabilistic foundation models for tabular data: We show how tabular foundation models — specifically TabPFN — can be used as pre-trained autoregressive conditional density estimators for SBI. We propose Neural Posterior Estimation with Prior-data Fitted Networks (NPE-PF) and show that it is competitive with current SBI approaches in terms of accuracy for both benchmark tasks and two complex scientific inverse problems. Crucially, it often substantially outperforms them in terms of simulation efficiency, sometimes requiring orders of magnitude fewer simulations. NPE-PF eliminates the need for inference network selection, training, and hyperparameter tuning. We also show that it exhibits superior robustness to model misspecification and can be scaled to simulation budgets that exceed the context size limit of TabPFN. NPE-PF provides a new direction for SBI, where training-free, general-purpose inference models offer efficient, easy-to-use, and flexible solutions for a wide range of stochastic inverse problems.

arxiv情報

著者 Julius Vetter,Manuel Gloeckler,Daniel Gedon,Jakob H. Macke
発行日 2025-04-24 15:29:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Variation Due to Regularization Tractably Recovers Bayesian Deep Learning

投稿日: 2025年4月25日 作成者: jarxiv

要約

深い学習における不確実性の定量化は、ダウンストリームタスクでの安全で信頼できる意思決定には重要です。
既存の方法は、モデルの不確実性の原因を見逃す可能性のあるネットワークの最後のレイヤーまたはその他の近似で不確実性を定量化します。
このギャップに対処するために、正則化による変動に基づいて、大規模なネットワークの不確実性定量化方法を提案します。
基本的に、ネットワークパラメーターの正則化に敏感な（それぞれ少ない）予測は、それぞれ（それぞれ、それぞれ）確実にあります。
この原則は、微調整フェーズ中のトレーニング損失を決定論的に調整することで実装でき、ネットワークのすべての層の関数としての出力に対する信頼を反映します。
正則化のバリエーション（REGVAR）は、無限の制限で、ベイジアンディープラーニングのラプラス近似を正確に回復するという厳しい不確実性の推定を提供することを示します。
いくつかの深い学習アーキテクチャでの成功を示し、不確実性の定量化の品質を維持または改善しながら、ネットワークサイズと断固として縮小できることを示しています。
複数のデータセットの実験は、Regvarが不確実な予測を効果的に特定するだけでなく、学習した表現の安定性に関する洞察を提供することを示しています。

要約(オリジナル)

Uncertainty quantification in deep learning is crucial for safe and reliable decision-making in downstream tasks. Existing methods quantify uncertainty at the last layer or other approximations of the network which may miss some sources of uncertainty in the model. To address this gap, we propose an uncertainty quantification method for large networks based on variation due to regularization. Essentially, predictions that are more (less) sensitive to the regularization of network parameters are less (more, respectively) certain. This principle can be implemented by deterministically tweaking the training loss during the fine-tuning phase and reflects confidence in the output as a function of all layers of the network. We show that regularization variation (RegVar) provides rigorous uncertainty estimates that, in the infinitesimal limit, exactly recover the Laplace approximation in Bayesian deep learning. We demonstrate its success in several deep learning architectures, showing it can scale tractably with the network size while maintaining or improving uncertainty quantification quality. Our experiments across multiple datasets show that RegVar not only identifies uncertain predictions effectively but also provides insights into the stability of learned representations.

arxiv情報

著者 James McInerney,Nathan Kallus
発行日 2025-04-24 15:30:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

On Multivariate Financial Time Series Classification

投稿日: 2025年4月25日 作成者: jarxiv

要約

この記事では、金融市場内の多変量時系列分析における機械学習モデルとディープラーニングモデルの使用を調査します。
小規模とビッグデータのアプローチを比較し、その明確な課題とスケーリングの利点に焦点を当てています。
SVMなどの従来の方法は、Convtimenetのような近代的なアーキテクチャとは対照的です。
結果は、財務時系列の分析と予測において、ビッグデータを深く使用して理解することの重要性を示しています。

要約(オリジナル)

This article investigates the use of Machine Learning and Deep Learning models in multivariate time series analysis within financial markets. It compares small and big data approaches, focusing on their distinct challenges and the benefits of scaling. Traditional methods such as SVMs are contrasted with modern architectures like ConvTimeNet. The results show the importance of using and understanding Big Data in depth in the analysis and prediction of financial time series.

arxiv情報

著者 Grégory Bournassenko
発行日 2025-04-24 15:33:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

On the Generalization of Adversarially Trained Quantum Classifiers

投稿日: 2025年4月25日 作成者: jarxiv

要約

量子分類器は、入力の古典的または量子データを操作する敵対的な攻撃に対して脆弱です。
有望な対策は、攻撃的で敵対的な損失関数を使用して量子分類器が訓練される敵対的な訓練です。
この研究は、摂動に制約のある敵の存在下でテストされたときに、敵対的に訓練された量子分類器の一般化誤差に関する新しい境界を確立します。
境界は、トレーニングサンプルサイズ$ m $を$ 1/\ sqrt {m} $としてスケーリングするために敵対的な攻撃への堅牢性を確保するために発生した過剰な一般化エラーを定量化し、量子埋め込みの影響に関する洞察をもたらします。
\ textIT {回転埋め込み}を使用する量子バイナリ分類器の場合、古典的な入力$ \ mathbf {x} $に対する敵対的な攻撃が存在する場合、従来のトレーニングによるサンプルの複雑さの増加は、高次元入力$ \ mathbf {x} $ $ {x}
対照的に、敵が入力$ \ mathbf {x} $をエンコードする量子状態$ \ rho（\ mathbf {x}）$を直接攻撃できる場合、過剰な一般化エラーは、ヒルベルト空間の寸法を介した埋め込みの選択に依存します。
結果は、マルチクラス分類子にも拡張されます。
数値実験で理論的発見を検証します。

要約(オリジナル)

Quantum classifiers are vulnerable to adversarial attacks that manipulate their input classical or quantum data. A promising countermeasure is adversarial training, where quantum classifiers are trained by using an attack-aware, adversarial loss function. This work establishes novel bounds on the generalization error of adversarially trained quantum classifiers when tested in the presence of perturbation-constrained adversaries. The bounds quantify the excess generalization error incurred to ensure robustness to adversarial attacks as scaling with the training sample size $m$ as $1/\sqrt{m}$, while yielding insights into the impact of the quantum embedding. For quantum binary classifiers employing \textit{rotation embedding}, we find that, in the presence of adversarial attacks on classical inputs $\mathbf{x}$, the increase in sample complexity due to adversarial training over conventional training vanishes in the limit of high dimensional inputs $\mathbf{x}$. In contrast, when the adversary can directly attack the quantum state $\rho(\mathbf{x})$ encoding the input $\mathbf{x}$, the excess generalization error depends on the choice of embedding only through its Hilbert space dimension. The results are also extended to multi-class classifiers. We validate our theoretical findings with numerical experiments.

arxiv情報

著者 Petros Georgiou,Aaron Mark Thomas,Sharu Theresa Jose,Osvaldo Simeone
発行日 2025-04-24 15:59:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, quant-ph | コメントする

Fault Diagnosis in New Wind Turbines using Knowledge from Existing Turbines by Generative Domain Adaptation

投稿日: 2025年4月25日 作成者: jarxiv

要約

風力タービンのインテリジェントな状態監視は、ダウンタイムを減らすために不可欠です。
風力タービンの動作データでトレーニングされた機械学習モデルは、一般に異常、そして最終的には操作障害を検出するために使用されます。
ただし、データ駆動型の通常の行動モデル（NBMS）には、希少なデータでトレーニングされたNBMが信頼できない障害診断につながる可能性があるため、かなりの量のトレーニングデータが必要です。
この制限を克服するために、トレーニングデータがない1つの風力タービンからのSCADAサンプルを、代表的なトレーニングデータを持つ風力タービンからのSCADAデータに似ている新しい生成的学習アプローチを提示します。
CycleGanベースのドメインマッピングにより、この方法により、既存の風力タービンでトレーニングされたNBMを、データが厳しく限られているものに適用できます。
7つの大幅に異なるWTSにわたるSCADAサンプルをマッピングするフィールドデータに関するアプローチを示します。
私たちの調査結果は、希少なデータを持つ風力タービンの断層診断が大幅に改善されたことを示しています。
私たちの方法は、豊富なデータでトレーニングされたNBMに対して最も類似した異常スコアを達成し、1か月のトレーニングデータが利用可能な場合、F1スコアで +10.3％、2週間が利用可能なときに +16.8％の改善で希少なトレーニングデータでトレーニングされたNBMを上回ります。
ドメインマッピングアプローチは、1〜8週間のトレーニングデータの範囲で、データ不足の程度を考慮して、従来の微調整を上回ります。
提案された手法により、新しく設置された風力発電所でより早くより信頼性の高い障害診断が可能になり、トレーニングデータ不足に直面したときに異常検出を改善するための斬新で有望な研究方向を示します。

要約(オリジナル)

Intelligent condition monitoring of wind turbines is essential for reducing downtimes. Machine learning models trained on wind turbine operation data are commonly used to detect anomalies and, eventually, operation faults. However, data-driven normal behavior models (NBMs) require a substantial amount of training data, as NBMs trained with scarce data may result in unreliable fault diagnosis. To overcome this limitation, we present a novel generative deep learning approach to make SCADA samples from one wind turbine lacking training data resemble SCADA data from wind turbines with representative training data. Through CycleGAN-based domain mapping, our method enables the application of an NBM trained on an existing wind turbine to one with severely limited data. We demonstrate our approach on field data mapping SCADA samples across 7 substantially different WTs. Our findings show significantly improved fault diagnosis in wind turbines with scarce data. Our method achieves the most similar anomaly scores to an NBM trained with abundant data, outperforming NBMs trained on scarce training data with improvements of +10.3% in F1-score when 1 month of training data is available and +16.8% when 2 weeks are available. The domain mapping approach outperforms conventional fine-tuning at all considered degrees of data scarcity, ranging from 1 to 8 weeks of training data. The proposed technique enables earlier and more reliable fault diagnosis in newly installed wind farms, demonstrating a novel and promising research direction to improve anomaly detection when faced with training data scarcity.

arxiv情報

著者 Stefan Jonas,Angela Meyer
発行日 2025-04-24 16:14:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, eess.SY | コメントする

Conformal prediction of future insurance claims in the regression problem

投稿日: 2025年4月25日 作成者: jarxiv

要約

現在の保険文献では、回帰問題における保険請求の予測は、統計モデルでしばしば実行されます。
このモデルベースのアプローチは、（i）モデルの誤り、（ii）選択効果、および（iii）有限サンプルの妥当性の欠如など、いくつかの欠点に悩まされる可能性があります。
この記事では、適合予測を採用することにより、これら3つの問題を同時に説明します。これは、有効な予測のための一般的な機械学習戦略です。
提案された方法は、モデルフリーであり、チューニングパラメーターフリーの両方です。
また、事前に割り当てられたカバレッジ確率レベルで有限サンプルの妥当性を保証します。
シミュレートされたデータと実際のデータの両方に基づいた例は、特にヨーロッパの保険規制のソルベンシー資本要件、Solvency II、提案された方法の優れたパフォーマンスと保険の申請を実証するために提供されています。

要約(オリジナル)

In the current insurance literature, prediction of insurance claims in the regression problem is often performed with a statistical model. This model-based approach may potentially suffer from several drawbacks: (i) model misspecification, (ii) selection effect, and (iii) lack of finite-sample validity. This article addresses these three issues simultaneously by employing conformal prediction — a general machine learning strategy for valid predictions. The proposed method is both model-free and tuning-parameter-free. It also guarantees finite-sample validity at a pre-assigned coverage probability level. Examples, based on both simulated and real data, are provided to demonstrate the excellent performance of the proposed method and its applications in insurance, especially regarding meeting the solvency capital requirement of European insurance regulation, Solvency II.

arxiv情報

著者 Liang Hong
発行日 2025-04-24 16:16:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62P05, 91G05, cs.LG, stat.AP, stat.ML | コメントする

Evaluating Uncertainty in Deep Gaussian Processes

投稿日: 2025年4月25日 作成者: jarxiv

要約

信頼できる不確実性の推定値は、現代の機械学習において重要です。
ディープガウスプロセス（DGPS）およびディープシグマポイントプロセス（DSPP）はGPSを階層的に拡張し、ベイジアンの原理に基づいた不確実性の定量化の有望な方法を提供します。
ただし、ディープアンサンブルのようなベースラインと比較して、分布シフト下での経験的キャリブレーションと堅牢性は留まられたままです。
この作業は、これらのモデルを回帰（CASPデータセット）および分類（ESRデータセット）タスクで評価し、予測パフォーマンス（MAE、Accuracy）、ネガティブログリケリ（NLL）および予想キャリブレーションエラー（ECE）を使用したキャリブレーション、およびさまざまな合成特徴レベルの分布シフトの下での堅牢性とともに評価します。
結果は、DSPPがシグマポイント近似を活用する強力な分配内式キャリブレーションを提供することを示しています。
ただし、テストされたシフト下でのパフォーマンスとキャリブレーションの両方で優れた堅牢性を示したディープアンサンブルと比較して、GPベースの方法は脆弱性を示し、観察されたメトリックに特定の感度を示しました。
私たちの調査結果は、堅牢なベースラインとしてアンサンブルを強調しており、深いGPメソッドは良好な分散型式キャリブレーションを提供する一方で、分布シフト下での実際的な堅牢性には慎重な評価が必要であることを示唆しています。
再現性を促進するために、https://github.com/matthjs/xai-gpでコードを利用できるようにします。

要約(オリジナル)

Reliable uncertainty estimates are crucial in modern machine learning. Deep Gaussian Processes (DGPs) and Deep Sigma Point Processes (DSPPs) extend GPs hierarchically, offering promising methods for uncertainty quantification grounded in Bayesian principles. However, their empirical calibration and robustness under distribution shift relative to baselines like Deep Ensembles remain understudied. This work evaluates these models on regression (CASP dataset) and classification (ESR dataset) tasks, assessing predictive performance (MAE, Accu- racy), calibration using Negative Log-Likelihood (NLL) and Expected Calibration Error (ECE), alongside robustness under various synthetic feature-level distribution shifts. Results indicate DSPPs provide strong in-distribution calibration leveraging their sigma point approximations. However, compared to Deep Ensembles, which demonstrated superior robustness in both per- formance and calibration under the tested shifts, the GP-based methods showed vulnerabilities, exhibiting particular sensitivity in the observed metrics. Our findings underscore ensembles as a robust baseline, suggesting that while deep GP methods offer good in-distribution calibration, their practical robustness under distribution shift requires careful evaluation. To facilitate reproducibility, we make our code available at https://github.com/matthjs/xai-gp.

arxiv情報

著者 Matthijs van der Lende,Jeremias Lino Ferrao,Niclas Müller-Hof
発行日 2025-04-24 16:31:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする