Granular Ball Twin Support Vector Machine

投稿日: 2025年4月21日 作成者: jarxiv

要約

混合物のノンパラメトリック最尤推定器の効率的かつスケーラブルな計算では、モデルストウィンサポートベクターマシン（TSVM）は、分類および回帰の努力に多才な適用可能性を備えた新興機械学習モデルです。
それにもかかわらず、TSVMは注目に値する課題に直面しています。$（i）$マトリックス反転の命令的需要は、大規模なデータセットに対するその効率と適用性に対する手ごわい障害を提示します。
$（ii）$主要な定式化における構造リスク最小化（SRM）原則の省略は、過剰適合リスクに対する脆弱性を高めます。
$（iii）$ TSVMは、ノイズと外れ値に対する高い感受性を示し、再サンプリングを受けた場合に不安定性を示します。
前述の課題を考慮して、粒状ボールツインサポートベクターマシン（GBTSVM）を提案します。
GBTSVMは、分類器を構築するための入力として、個々のデータポイントではなく粒状ボールを取ります。
これらの粒状のボールは、より粗い粒度を特徴としており、再サンプリングに堅牢性を示し、騒音や外れ値の影響に対する感受性を低下させます。
さらに、新しい大規模な粒状ボールツインサポートベクターマシン（LS-GBTSVM）を提案します。
LS-GBTSVMの最適化定式化により、2つの重要なファセットが保証されます。$（i）$は、マトリックスの反転の必要性を排除し、LS-GBTSVMの計算効率を合理化し、$（ii）$は、正規化条件の組み込みを通じてSRMの原則を組み込み、過剰フィットの問題に効果的に対処します。
提案されているLS-GBTSVMは、効率、大きなデータセットのスケーラビリティ、およびノイズや外れ値に対する堅牢性を例示しています。
UCI、Keel、およびNDCデータセットのベンチマークデータセットでGBTSVMおよびLS-GBTSVMモデルの包括的な評価を実施します。
私たちの実験的調査結果と統計分析は、提案されたGBTSVMおよびLS-GBTSVMモデルの優れた一般化能力を確認しています。

要約(オリジナル)

On Efficient and Scalable Computation of the Nonparametric Maximum Likelihood Estimator in Mixture ModelsTwin support vector machine (TSVM) is an emerging machine learning model with versatile applicability in classification and regression endeavors. Nevertheless, TSVM confronts noteworthy challenges: $(i)$ the imperative demand for matrix inversions presents formidable obstacles to its efficiency and applicability on large-scale datasets; $(ii)$ the omission of the structural risk minimization (SRM) principle in its primal formulation heightens the vulnerability to overfitting risks; and $(iii)$ the TSVM exhibits a high susceptibility to noise and outliers, and also demonstrates instability when subjected to resampling. In view of the aforementioned challenges, we propose the granular ball twin support vector machine (GBTSVM). GBTSVM takes granular balls, rather than individual data points, as inputs to construct a classifier. These granular balls, characterized by their coarser granularity, exhibit robustness to resampling and reduced susceptibility to the impact of noise and outliers. We further propose a novel large-scale granular ball twin support vector machine (LS-GBTSVM). LS-GBTSVM’s optimization formulation ensures two critical facets: $(i)$ it eliminates the need for matrix inversions, streamlining the LS-GBTSVM’s computational efficiency, and $(ii)$ it incorporates the SRM principle through the incorporation of regularization terms, effectively addressing the issue of overfitting. The proposed LS-GBTSVM exemplifies efficiency, scalability for large datasets, and robustness against noise and outliers. We conduct a comprehensive evaluation of the GBTSVM and LS-GBTSVM models on benchmark datasets from UCI, KEEL, and NDC datasets. Our experimental findings and statistical analyses affirm the superior generalization prowess of the proposed GBTSVM and LS-GBTSVM models.

arxiv情報

著者 A. Quadir,M. Sajid,M. Tanveer
発行日 2025-04-18 11:11:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Granular Ball Twin Support Vector Machine はコメントを受け付けていません

Efficient algorithms for the Hadamard decomposition

投稿日: 2025年4月21日 作成者: jarxiv

要約

Hadamard分解は、データ分析とマトリックス圧縮の強力な手法であり、特定のマトリックスを2つ以上の低ランクマトリックスの要素ごとの積に分解します。
このホワイトペーパーでは、この問題を解決するための効率的なアルゴリズムを開発し、グローバルな非凸の問題を一連の凸状のサブ問題に分解する交互の最適化アプローチを活用します。
パフォーマンスを向上させるために、特異値分解（SVD）に触発された高度な初期化戦略を調査し、運動量ベースの更新を導入することにより加速手法を組み込みます。
2マトリックスケースの最適化を超えて、Hadamard分解フレームワークを拡張して、2つ以上の低ランクマトリックスをサポートし、計算効率を維持しながらより高い有効ランクの近似を可能にします。
最後に、私たちの方法を、Hadamard分解のための既存の勾配降下ベースのアプローチと従来の低ランク近似技術と比較するために、広範な実験を実施します。
結果は、多様なデータセット全体で提案された方法の有効性を強調しています。

要約(オリジナル)

The Hadamard decomposition is a powerful technique for data analysis and matrix compression, which decomposes a given matrix into the element-wise product of two or more low-rank matrices. In this paper, we develop an efficient algorithm to solve this problem, leveraging an alternating optimization approach that decomposes the global non-convex problem into a series of convex sub-problems. To improve performance, we explore advanced initialization strategies inspired by the singular value decomposition (SVD) and incorporate acceleration techniques by introducing momentum-based updates. Beyond optimizing the two-matrix case, we also extend the Hadamard decomposition framework to support more than two low-rank matrices, enabling approximations with higher effective ranks while preserving computational efficiency. Finally, we conduct extensive experiments to compare our method with the existing gradient descent-based approaches for the Hadamard decomposition and with traditional low-rank approximation techniques. The results highlight the effectiveness of our proposed method across diverse datasets.

arxiv情報

著者 Samuel Wertz,Arnaud Vandaele,Nicolas Gillis
発行日 2025-04-18 11:14:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP, math.OC, stat.ML | Efficient algorithms for the Hadamard decomposition はコメントを受け付けていません

Robust Universum Twin Support Vector Machine for Imbalanced Data

投稿日: 2025年4月21日 作成者: jarxiv

要約

機械学習方法の主な困難の1つは、不均衡なデータセットを分類することです。
この問題は、トレーニングプロセスが多数派クラスに支配されている偏ったモデルにつながる可能性があり、その結果、少数派クラスの不十分な表現が生じます。
Universum Twin Support Vector Machine（UTSVM）は、多数派クラスに向けて偏ったモデルを生成します。その結果、少数派クラスでのパフォーマンスは誤ってノイズとして分類されるため、しばしば貧弱です。
さらに、UTSVMは、外れ値とノイズを含むデータセットの処理に習熟していません。
データに関する以前の情報を組み込み、直観主義的なファジーメンバーシップスキームを採用するという概念に触発されて、全体的な堅牢性を高めることにより、不均衡なデータ（IFUTSVM-ID）の直観的ファジーUTSVMを提案します。
直感的なファジーメンバーシップスキームを使用して、ノイズと外れ値の影響を軽減します。
さらに、不均衡なクラス分布の問題に取り組むために、データのオーバーサンプリングとアンダーサンプリング方法が利用されます。
データに関する事前知識は、Universumデータによって提供されます。
これにより、一般化のパフォーマンスが向上します。
UTSVMは、主要な製剤における構造リスク最小化（SRM）原則の省略により、リスクに過度に適合しやすくなります。
ただし、提案されているIFUTSVM-IDモデルには、正規化条件の組み込みを通じてSRM原則が組み込まれ、過剰適合の問題に効果的に対処します。
Keelのベンチマークデータセットで提案されているIFUTSVM-IDモデルの包括的な評価を実施し、既存のベースラインモデルと比較します。
さらに、アルツハイマー病（AD）の診断において提案されたIFUTSVM-IDモデルの有効性を評価するために、アルツハイマー病神経画像イニシアチブ（ADNI）データセットにそれらを適用しました。
実験結果は、ベースラインモデルと比較して、提案されたIFUTSVM-IDモデルの優位性を示しています。

要約(オリジナル)

One of the major difficulties in machine learning methods is categorizing datasets that are imbalanced. This problem may lead to biased models, where the training process is dominated by the majority class, resulting in inadequate representation of the minority class. Universum twin support vector machine (UTSVM) produces a biased model towards the majority class, as a result, its performance on the minority class is often poor as it might be mistakenly classified as noise. Moreover, UTSVM is not proficient in handling datasets that contain outliers and noises. Inspired by the concept of incorporating prior information about the data and employing an intuitionistic fuzzy membership scheme, we propose intuitionistic fuzzy UTSVM for imbalanced data (IFUTSVM-ID) by enhancing overall robustness. We use an intuitionistic fuzzy membership scheme to mitigate the impact of noise and outliers. Moreover, to tackle the problem of imbalanced class distribution, data oversampling and undersampling methods are utilized. Prior knowledge about the data is provided by universum data. This leads to better generalization performance. UTSVM is susceptible to overfitting risks due to the omission of the structural risk minimization (SRM) principle in their primal formulations. However, the proposed IFUTSVM-ID model incorporates the SRM principle through the incorporation of regularization terms, effectively addressing the issue of overfitting. We conduct a comprehensive evaluation of the proposed IFUTSVM-ID model on benchmark datasets from KEEL and compare it with existing baseline models. Furthermore, to assess the effectiveness of the proposed IFUTSVM-ID model in diagnosing Alzheimer’s disease (AD), we applied them to the Alzheimer’s Disease Neuroimaging Initiative (ADNI) dataset. Experimental results showcase the superiority of the proposed IFUTSVM-ID models compared to the baseline models.

arxiv情報

著者 M. Tanveer,A. Quadir
発行日 2025-04-18 11:35:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Robust Universum Twin Support Vector Machine for Imbalanced Data はコメントを受け付けていません

Conformal Prediction Regions are Imprecise Highest Density Regions

投稿日: 2025年4月21日 作成者: jarxiv

要約

最近、CellaとMartinは、Consonanceと呼ばれる仮定の下で、信用セット（すなわち、閉じた凸セットの確率）が、トランスダクトのコンフォーマル予測に関連するコンフォーマルトランスデューサーからどのように導出されるかを証明しました。
このような信用セットに関連する不正確な最高密度領域（IHDR）は、古典的なコンフォーマル予測領域に対応することを示します。
この結果を証明する際に、クラウドのIP概念を介して、コンフォーマル予測と不正確な確率（IP）理論の間に新しい関係を確立します。
私たちのプレゼンテーションの副産物は、子音の妥当性関数がIPツールの新しい代数特性であるモノイドの同性愛であるという発見です。

要約(オリジナル)

Recently, Cella and Martin proved how, under an assumption called consonance, a credal set (i.e. a closed and convex set of probabilities) can be derived from the conformal transducer associated with transductive conformal prediction. We show that the Imprecise Highest Density Region (IHDR) associated with such a credal set corresponds to the classical Conformal Prediction Region. In proving this result, we establish a new relationship between Conformal Prediction and Imprecise Probability (IP) theories, via the IP concept of a cloud. A byproduct of our presentation is the discovery that consonant plausibility functions are monoid homomorphisms, a new algebraic property of an IP tool.

arxiv情報

著者 Michele Caprio,Yusuf Sale,Eyke Hüllermeier
発行日 2025-04-18 12:46:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: (Primary), 15A80, 20M32, 60G25, 62M20, cs.LG, math.PR, stat.ML | Conformal Prediction Regions are Imprecise Highest Density Regions はコメントを受け付けていません

Optimal Transport for $ε$-Contaminated Credal Sets: To the Memory of Sayan Mukherjee

投稿日: 2025年4月21日 作成者: jarxiv

要約

Monge’sとKantorovichの最適な輸送問題の一般化バージョンを提示し、輸送される確率が低い確率に置き換えられます。
より低い確率が$ \ epsilon $ contaminedセットの低い封筒である場合、モンゲのバージョン、およびカントロビッチの問題の制限付きバージョンは、それぞれの古典的なバージョンと一致することを示します。
また、カントロビッチの最適計画のバージョンの存在と、2つの問題が同等になるために十分な条件を与えます。
副産物として、$ \ epsilon $ contaminationsの場合、Monge’sとKantorovichの最適な輸送問題の低い確率バージョンは一致しない必要がないことを示します。
機械学習と人工知能への結果のアプリケーションについても説明します。

要約(オリジナル)

We present generalized versions of Monge’s and Kantorovich’s optimal transport problems with the probabilities being transported replaced by lower probabilities. We show that, when the lower probabilities are the lower envelopes of $\epsilon$-contaminated sets, then our version of Monge’s, and a restricted version of our Kantorovich’s problems, coincide with their respective classical versions. We also give sufficient conditions for the existence of our version of Kantorovich’s optimal plan, and for the two problems to be equivalent. As a byproduct, we show that for $\epsilon$-contaminations the lower probability versions of Monge’s and Kantorovich’s optimal transport problems need not coincide. The applications of our results to Machine Learning and Artificial Intelligence are also discussed.

arxiv情報

著者 Michele Caprio
発行日 2025-04-18 13:12:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 49Q22, 60A99, 68T37, cs.LG, math.PR, stat.ML | Optimal Transport for $ε$-Contaminated Credal Sets: To the Memory of Sayan Mukherjee はコメントを受け付けていません

Variable transformations in consistent loss functions

投稿日: 2025年4月21日 作成者: jarxiv

要約

（厳密に）一貫した損失関数の実現および予測変数に変換を適用することによって構築された損失関数は、経験的に広く研究されていますが、それらの理論的基礎は未開拓のままです。
このギャップに対処するために、このような変換された損失関数とそれに対応する誘発性機能の（厳密な）一貫性の正式な特性を確立します。
分析では、相互に関連する2つのケースに焦点を当てています。（a）実現変数のみに適用される変換と、（b）実現変数と予測変数の両方に共同で適用される生物物語変換。
これらのケースは、Osbandの啓示原則によって形式化されているように、予測変数にのみ適用される変換の確立されたフレームワークを拡張します。
さらに、（厳密な）識別機能の類似の特性を開発します。
結果の理論的枠組みは、統計的および機械学習方法論に広く適用されます。
Bregman and Heppidile Loss関数に適用される場合、私たちのフレームワークは、2つの重要な進歩を可能にします。（a）変換された損失関数で訓練されたモデルからの経験的調査結果の解釈、および（b）G-Transformedの期待とG-Transformedの期待値を含む新規識別可能で除外可能な機能の体系的な構築。
実用的なアプリケーションで理論的洞察を統合することにより、この作業は、複雑な予測タスクで損失関数を設計するための原則的な方法論を進めます。
シミュレートされた現実世界のデータへのフレームワークのアプリケーションは、多様な設定での実用的なユーティリティを示しています。

要約(オリジナル)

Loss functions constructed by applying transformations to the realization and prediction variables of (strictly) consistent loss functions have been extensively studied empirically, yet their theoretical foundations remain unexplored. To address this gap, we establish formal characterizations of (strict) consistency for such transformed loss functions and their corresponding elicitable functionals. Our analysis focuses on two interrelated cases: (a) transformations applied solely to the realization variable and (b) bijective transformations applied jointly to both the realization and prediction variables. These cases extend the well-established framework of transformations applied exclusively to the prediction variable, as formalized by Osband’s revelation principle. We further develop analogous characterizations for (strict) identification functions. The resulting theoretical framework is broadly applicable to statistical and machine learning methodologies. When applied to Bregman and expectile loss functions, our framework enables two key advancements: (a) the interpretation of empirical findings from models trained with transformed loss functions and (b) the systematic construction of novel identifiable and elicitable functionals, including the g-transformed expectation and g-transformed expectile. By unifying theoretical insights with practical applications, this work advances principled methodologies for designing loss functions in complex predictive tasks. Applications of the framework to simulated and real-world data illustrate its practical utility in diverse settings.

arxiv情報

著者 Hristos Tyralis,Georgia Papacharalampous
発行日 2025-04-18 13:18:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Variable transformations in consistent loss functions はコメントを受け付けていません

Deep Huber quantile regression networks

投稿日: 2025年4月21日 作成者: jarxiv

要約

典型的な機械学習回帰アプリケーションは、2乗または絶対誤差スコアリング機能を使用したトレーニングを介して、予測確率分布の平均または中央値を報告することを目的としています。
予測確率分布のより多くの機能の予測を発行することの重要性（変分分と期待値）は、予測の不確実性を定量化する手段として認識されています。
ディープラーニング（DL）アプリケーションでは、これは、分位および期待される回帰ニューラルネットワーク（それぞれQRNNとERNN）を通じて可能です。
ここでは、QRNNとERNNをエッジケースとしてネストするディープフーバー分位回帰ネットワーク（DHQRN）を紹介します。
DHQRNは、分位数を制限するケースとして期待されるという意味で、より一般的な機能であるフーバー分位を予測できます。
主なアイデアは、Huber Phancearyの機能で一貫している、Huber分位スコアリング機能でDLアルゴリズムをトレーニングすることです。
概念実証として、DHQRNは、オーストラリアのメルボルンと米国ボストン（米国）の住宅価格を予測するために適用されます。
これに関連して、3つのDLアーキテクチャの予測パフォーマンスについて、2つの経済的ケーススタディの結果の証拠的解釈とともに説明します。
オープンデータセットを使用した実際のケーススタディへの追加のシミュレーション実験とアプリケーションは、DHQRNの満足のいく絶対パフォーマンスを示しています。

要約(オリジナル)

Typical machine learning regression applications aim to report the mean or the median of the predictive probability distribution, via training with a squared or an absolute error scoring function. The importance of issuing predictions of more functionals of the predictive probability distribution (quantiles and expectiles) has been recognized as a means to quantify the uncertainty of the prediction. In deep learning (DL) applications, that is possible through quantile and expectile regression neural networks (QRNN and ERNN respectively). Here we introduce deep Huber quantile regression networks (DHQRN) that nest QRNN and ERNN as edge cases. DHQRN can predict Huber quantiles, which are more general functionals in the sense that they nest quantiles and expectiles as limiting cases. The main idea is to train a DL algorithm with the Huber quantile scoring function, which is consistent for the Huber quantile functional. As a proof of concept, DHQRN are applied to predict house prices in Melbourne, Australia and Boston, United States (US). In this context, predictive performances of three DL architectures are discussed along with evidential interpretation of results from two economic case studies. Additional simulation experiments and applications to real-world case studies using open datasets demonstrate a satisfactory absolute performance of DHQRN.

arxiv情報

著者 Hristos Tyralis,Georgia Papacharalampous,Nilay Dogulu,Kwok P. Chun
発行日 2025-04-18 13:28:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.ML | Deep Huber quantile regression networks はコメントを受け付けていません

Adiabatic Fine-Tuning of Neural Quantum States Enables Detection of Phase Transitions in Weight Space

投稿日: 2025年4月21日 作成者: jarxiv

要約

神経量子状態（NQ）は、深い学習を使用して量子波動関数を近似するための強力なツールとして浮上しています。
これらのモデルは驚くべき精度を達成しますが、物理情報をエンコードする方法を理解することは未解決の課題のままです。
この作業では、位相図でNQを訓練するスキームであるAdiabatic微調整を紹介し、さまざまなモデルで強く相関した重量表現につながります。
重み空間でのこの相関により、訓練されたネットワークの重量だけを分析することにより、量子システムの位相遷移の検出が可能になります。
横磁場ISINGモデルとJ1-J2ハイゼンバーグモデルでのアプローチを検証し、相転移が重量空間で異なる構造として現れることを示しています。
私たちの結果は、物理相遷移とニューラルネットワークパラメーターのジオメトリとの関係を確立し、物理学における機械学習モデルの解釈可能性の新しい方向を開きます。

要約(オリジナル)

Neural quantum states (NQS) have emerged as a powerful tool for approximating quantum wavefunctions using deep learning. While these models achieve remarkable accuracy, understanding how they encode physical information remains an open challenge. In this work, we introduce adiabatic fine-tuning, a scheme that trains NQS across a phase diagram, leading to strongly correlated weight representations across different models. This correlation in weight space enables the detection of phase transitions in quantum systems by analyzing the trained network weights alone. We validate our approach on the transverse field Ising model and the J1-J2 Heisenberg model, demonstrating that phase transitions manifest as distinct structures in weight space. Our results establish a connection between physical phase transitions and the geometry of neural network parameters, opening new directions for the interpretability of machine learning models in physics.

arxiv情報

著者 Vinicius Hernandes,Thomas Spriggs,Saqar Khaleefah,Eliska Greplova
発行日 2025-04-18 13:30:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, quant-ph | Adiabatic Fine-Tuning of Neural Quantum States Enables Detection of Phase Transitions in Weight Space はコメントを受け付けていません

MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL

投稿日: 2025年4月21日 作成者: jarxiv

要約

グラフショットクラスインクリメンタル学習（GFSCIL）により、モデルは、大規模なベースデータセットでの最初のトレーニング後、新しいタスクの限られたサンプルから継続的に学習できます。
既存のGFSCILアプローチは、通常、メトリックベースのクラス表現にプロトタイプネットワーク（PNS）を利用し、増分学習段階でモデルを微調整します。
ただし、これらのPNベースの方法は、新しいクエリセット微調整を介して学習を単純化し、アーキテクチャの制約によりグラフ継続学習（GCL）技術を統合できません。
これらの課題に対処するために、インクリメンタルトレーニングフェーズ中にクエリセットを除外するGFSCILのより厳密で実用的な設定を提案します。
この基盤に基づいて、GFSCILの壊滅的な忘却を効果的に緩和することを目的とした、モデルに依存しないメタグラフ継続学習（MEGA）を導入します。
具体的には、メタトレーニング段階で増分2次勾配を計算することにより、モデルに授与し、メタトレーニングおよび増分学習段階の両方で動作を整列させることにより、増分学習を強化する高品質のプライアーを学習します。
4つの主流グラフデータセットでの広範な実験は、MEGAが最新の結果を達成し、GFSCILのさまざまなGCLメソッドの有効性を高めることを示しています。
提案されたメガは、モデルに依存しないGFSCILパラダイムとして機能し、将来の研究への道を開いていると考えています。

要約(オリジナル)

Graph Few-Shot Class-Incremental Learning (GFSCIL) enables models to continually learn from limited samples of novel tasks after initial training on a large base dataset. Existing GFSCIL approaches typically utilize Prototypical Networks (PNs) for metric-based class representations and fine-tune the model during the incremental learning stage. However, these PN-based methods oversimplify learning via novel query set fine-tuning and fail to integrate Graph Continual Learning (GCL) techniques due to architectural constraints. To address these challenges, we propose a more rigorous and practical setting for GFSCIL that excludes query sets during the incremental training phase. Building on this foundation, we introduce Model-Agnostic Meta Graph Continual Learning (MEGA), aimed at effectively alleviating catastrophic forgetting for GFSCIL. Specifically, by calculating the incremental second-order gradient during the meta-training stage, we endow the model to learn high-quality priors that enhance incremental learning by aligning its behaviors across both the meta-training and incremental learning stages. Extensive experiments on four mainstream graph datasets demonstrate that MEGA achieves state-of-the-art results and enhances the effectiveness of various GCL methods in GFSCIL. We believe that our proposed MEGA serves as a model-agnostic GFSCIL paradigm, paving the way for future research.

arxiv情報

著者 Jinhui Pang,Changqing Lin,Hao Lin,Jinglin He,Zhengjun Li,Zhihui Zhang,Xiaoshuai Hao
発行日 2025-04-18 13:48:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | MEGA: Second-Order Gradient Alignment for Catastrophic Forgetting Mitigation in GFSCIL はコメントを受け付けていません

Dynamic Regularized CBDT: Variance-Calibrated Causal Boosting for Interpretable Heterogeneous Treatment Effects

投稿日: 2025年4月21日 作成者: jarxiv

要約

ハイステークスアプリケーションの不均一な治療効果の推定には、精度、解釈可能性、およびキャリブレーションを同時に最適化するモデルが必要です。
ただし、多くの既存の樹木ベースの因果推論手法は、観測データに適用されると高い推定エラーを示します。これは、要因間の複雑な相互作用をキャプチャするのに苦労し、静的な正則化スキームに依存するためです。
この作業では、分散の正則化と平均治療効果のキャリブレーションを勾配ブーストされた決定ツリーの損失関数に統合する新しいフレームワークである動的な正規化された因果関係の決定ツリー（CBDT）を提案します。
当社のアプローチは、勾配統計を使用して正則化パラメーターを動的に更新し、バイアス分散トレードオフのバランスをより良くします。
標準のベンチマークデータセットと実際の臨床データに関する広範な実験は、提案された方法が真の治療効果の信頼できるカバレッジを維持しながら、推定精度を大幅に改善することを示しています。
集中治療室の患者トリアージ研究では、この方法は臨床的に実用的なルールを正常に特定し、治療効果の推定において高精度を達成しました。
結果は、動的正規化がエラー境界を効果的に引き締め、予測パフォーマンスとモデルの解釈可能性の両方を強化できることを検証します。

要約(オリジナル)

Heterogeneous treatment effect estimation in high-stakes applications demands models that simultaneously optimize precision, interpretability, and calibration. Many existing tree-based causal inference techniques, however, exhibit high estimation errors when applied to observational data because they struggle to capture complex interactions among factors and rely on static regularization schemes. In this work, we propose Dynamic Regularized Causal Boosted Decision Trees (CBDT), a novel framework that integrates variance regularization and average treatment effect calibration into the loss function of gradient boosted decision trees. Our approach dynamically updates the regularization parameters using gradient statistics to better balance the bias-variance tradeoff. Extensive experiments on standard benchmark datasets and real-world clinical data demonstrate that the proposed method significantly improves estimation accuracy while maintaining reliable coverage of true treatment effects. In an intensive care unit patient triage study, the method successfully identified clinically actionable rules and achieved high accuracy in treatment effect estimation. The results validate that dynamic regularization can effectively tighten error bounds and enhance both predictive performance and model interpretability.

arxiv情報

著者 Yichen Liu
発行日 2025-04-18 15:02:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62H12, 68T05, 90C30, cs.LG, G.3, stat.ML | Dynamic Regularized CBDT: Variance-Calibrated Causal Boosting for Interpretable Heterogeneous Treatment Effects はコメントを受け付けていません