Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey

投稿日: 2025年2月17日 作成者: jarxiv

要約

異常または分散除外（OOD）サンプルの検出は、機械学習システムの信頼性と信頼性を維持するために重要です。
最近、大規模な言語モデル（LLM）は、自然言語処理だけでなく、高度な理解と生成能力のために、より広範なアプリケーションでも有効性を実証しています。
LLMSの異常とOOD検出への統合は、フィールドの従来のパラダイムからの大きな変化を示しています。
この調査では、LLMSのコンテキストでの異常とOOD検出の問題に焦点を当てています。
LLMSが果たす役割に基づいて、既存のアプローチを2つのクラスに分類する新しい分類法を提案します。
提案された分類法に続いて、各カテゴリの下で関連する研究についてさらに議論し、最後にこの分野での将来の研究のための潜在的な課題と方向について説明します。
また、関連する論文の最新の読書リストも提供しています。

要約(オリジナル)

Detecting anomalies or out-of-distribution (OOD) samples is critical for maintaining the reliability and trustworthiness of machine learning systems. Recently, Large Language Models (LLMs) have demonstrated their effectiveness not only in natural language processing but also in broader applications due to their advanced comprehension and generative capabilities. The integration of LLMs into anomaly and OOD detection marks a significant shift from the traditional paradigm in the field. This survey focuses on the problem of anomaly and OOD detection under the context of LLMs. We propose a new taxonomy to categorize existing approaches into two classes based on the role played by LLMs. Following our proposed taxonomy, we further discuss the related work under each of the categories and finally discuss potential challenges and directions for future research in this field. We also provide an up-to-date reading list of relevant papers.

arxiv情報

著者 Ruiyao Xu,Kaize Ding
発行日 2025-02-14 16:35:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey はコメントを受け付けていません

Probabilistic Super-Resolution for High-Fidelity Physical System Simulations with Uncertainty Quantification

投稿日: 2025年2月17日 作成者: jarxiv

要約

スーパー解像度（SR）は、低解像度データから物理システムの高忠実度シミュレーションを生成するための有望なツールであり、エンジニアリングアプリケーションで迅速かつ正確な予測を可能にします。
ただし、既存のディープラーニングベースのSRメソッドには、大きなラベル付きデータセットが必要であり、信頼性の高い不確実性の定量化（UQ）が不足しているため、実際のシナリオでの適用性が制限されます。
これらの課題を克服するために、統計的有限要素法とエネルギーベースの生成モデリングを活用する確率的SRフレームワークを提案します。
当社の方法により、固有のUQを使用した効率的な高解像度予測が可能になり、広範なラベル付きデータセットの必要性が排除されます。
このメソッドは、2Dポアソンの例で検証され、二気内補間のアップスケーリングと比較されます。
結果は、信頼できる不確実性の推定値を提供しながら、高解像度の数値ソルバーよりも計算速度を上げていることを示しています。

要約(オリジナル)

Super-resolution (SR) is a promising tool for generating high-fidelity simulations of physical systems from low-resolution data, enabling fast and accurate predictions in engineering applications. However, existing deep-learning based SR methods, require large labeled datasets and lack reliable uncertainty quantification (UQ), limiting their applicability in real-world scenarios. To overcome these challenges, we propose a probabilistic SR framework that leverages the Statistical Finite Element Method and energy-based generative modeling. Our method enables efficient high-resolution predictions with inherent UQ, while eliminating the need for extensive labeled datasets. The method is validated on a 2D Poisson example and compared with bicubic interpolation upscaling. Results demonstrate a computational speed-up over high-resolution numerical solvers while providing reliable uncertainty estimates.

arxiv情報

著者 Pengyu Zhang,Connor Duffin,Alex Glyn-Davies,Arnaud Vadeboncoeur,Mark Girolami
発行日 2025-02-14 16:37:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Probabilistic Super-Resolution for High-Fidelity Physical System Simulations with Uncertainty Quantification はコメントを受け付けていません

Adversarial Mixup Unlearning

投稿日: 2025年2月17日 作成者: jarxiv

要約

Machine Ulderningは、機械学習モデルから機密情報の削除を可能にすることにより、データプライバシーを保護することを目的とした研究の重要な分野です。
この分野でのユニークな課題の1つは、壊滅的なモデルから特定のデータを消去することを意図せずに消去することで、本質的な知識を削除し、モデルが再訓練された知識から大幅に逸脱することです。
これに対処するために、壊滅的な効果に影響を受けやすいデータをシミュレートする合成された混合サンプルを使用することにより、未学習プロセスを正規化する新しいアプローチを導入します。
私たちのアプローチの中心にあるのは、ジェネレーター・非公開のフレームワークであるMixunLearnです。そこでは、発電機が挑戦的な混乱の例を敵対的に生成し、これらの合成されたデータに基づいてターゲット情報を効果的に忘れます。
具体的には、最初に、発電機を敵対的な方向に訓練するための新しい対照的な目的を紹介します。つまり、忘れられるべき情報を明らかにし、本質的な知識を失いながら、リアナーに促す例を生成する例です。
その後、他の2つの対照的な損失条件に導かれた未サーナーは、合成された知識を失うことなく正確な不正行為を確保し、壊滅的な効果を克服するために、合成されたデータと実際のデータを共同で処理します。
ベンチマークデータセット全体の広範な評価は、この方法が最先端のアプローチを大幅に上回っており、マシンの解除に対する堅牢なソリューションを提供することを示しています。
この作業は、学習メカニズムの理解を深めるだけでなく、混合の増強で効果的な機械を解除するための基礎を築きます。

要約(オリジナル)

Machine unlearning is a critical area of research aimed at safeguarding data privacy by enabling the removal of sensitive information from machine learning models. One unique challenge in this field is catastrophic unlearning, where erasing specific data from a well-trained model unintentionally removes essential knowledge, causing the model to deviate significantly from a retrained one. To address this, we introduce a novel approach that regularizes the unlearning process by utilizing synthesized mixup samples, which simulate the data susceptible to catastrophic effects. At the core of our approach is a generator-unlearner framework, MixUnlearn, where a generator adversarially produces challenging mixup examples, and the unlearner effectively forgets target information based on these synthesized data. Specifically, we first introduce a novel contrastive objective to train the generator in an adversarial direction: generating examples that prompt the unlearner to reveal information that should be forgotten, while losing essential knowledge. Then the unlearner, guided by two other contrastive loss terms, processes the synthesized and real data jointly to ensure accurate unlearning without losing critical knowledge, overcoming catastrophic effects. Extensive evaluations across benchmark datasets demonstrate that our method significantly outperforms state-of-the-art approaches, offering a robust solution to machine unlearning. This work not only deepens understanding of unlearning mechanisms but also lays the foundation for effective machine unlearning with mixup augmentation.

arxiv情報

著者 Zhuoyi Peng,Yixuan Tang,Yi Yang
発行日 2025-02-14 16:50:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Adversarial Mixup Unlearning はコメントを受け付けていません

Small Loss Bounds for Online Learning Separated Function Classes: A Gaussian Process Perspective

投稿日: 2025年2月17日 作成者: jarxiv

要約

過度に悲観的な計算下限を回避しながら実用的で効率的なアルゴリズムを開発するために、最近の研究は、さまざまな学習設定でオラクル効率の高いアルゴリズムを開発することに関心があります。
このような関心のある2つの設定は、オンラインと差別的にプライベートな学習です。
一見異なるように見えますが、これらの2つのフィールドは、それぞれのケースで成功したアルゴリズムが安定性保証を満たすという要件によって根本的に接続されています。
特に、最近の研究は、いわゆる小さな損失の境界を達成する有益な問題インスタンスにパフォーマンスが適応するオンライン学習のアルゴリズムには、プライバシーの差と同様の安定性の形を必要とすることが実証されています。
この作業では、Oracle効率の高いアルゴリズムがこの強力な安定性を実現できるようにする上で分離が果たす重要な役割を特定します。
$ \ rho $分離と呼ぶ我々の概念は、小セパレーターセットの存在や$ \ gamma $ apploxixabilityの最近の概念など、この強力な安定性を実施するためのいくつかの以前のアプローチを一般化および統合します。
私たちは、以前の仕事よりも高い一般性の改善されたレートで小さな損失の境界を達成できるOracle効率の高いアルゴリズムと、私たちの分離条件下で再び最適なレートを達成する差別的にプライベートな学習のバリアントを提示します。
そうすることで、以前の作業を強化および一般化するガウスプロセスのミニマイズの新しい安定性結果を証明します。

要約(オリジナル)

In order to develop practical and efficient algorithms while circumventing overly pessimistic computational lower bounds, recent work has been interested in developing oracle-efficient algorithms in a variety of learning settings. Two such settings of particular interest are online and differentially private learning. While seemingly different, these two fields are fundamentally connected by the requirement that successful algorithms in each case satisfy stability guarantees; in particular, recent work has demonstrated that algorithms for online learning whose performance adapts to beneficial problem instances, attaining the so-called small-loss bounds, require a form of stability similar to that of differential privacy. In this work, we identify the crucial role that separation plays in allowing oracle-efficient algorithms to achieve this strong stability. Our notion, which we term $\rho$-separation, generalizes and unifies several previous approaches to enforcing this strong stability, including the existence of small-separator sets and the recent notion of $\gamma$-approximability. We present an oracle-efficient algorithm that is capable of achieving small-loss bounds with improved rates in greater generality than previous work, as well as a variant for differentially private learning that attains optimal rates, again under our separation condition. In so doing, we prove a new stability result for minimizers of a Gaussian process that strengthens and generalizes previous work.

arxiv情報

著者 Adam Block,Abhishek Shetty
発行日 2025-02-14 16:52:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Small Loss Bounds for Online Learning Separated Function Classes: A Gaussian Process Perspective はコメントを受け付けていません

A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees

投稿日: 2025年2月17日 作成者: jarxiv

要約

Lipschitz連続ヘッセンを使用して、非凸関数の$ \ epsilon $ $ -Stationary Pointを見つける問題を検討し、現在および以前の勾配から構築された新しいクラスの正規化された正規化されたNewtonメソッドを提案します。
このメソッドは、最近開発された線形コンジュゲート勾配アプローチを負の曲率モニターで活用して、正規化されたニュートン方程式を解決します。
特に、私たちのアルゴリズムは適応的であり、ヘシアンのリプシッツ定数の事前知識を必要とせず、$ o（\ epsilon^{ – \ frac {3} {2}}） + \ tilde o（1）のグローバルな複雑さを達成します。
$ 2次のOracle Calls、および$ \ Tilde O（\ epsilon^{ – \ frac {7} {4}}）$ $ hessian-vector製品の$。
さらに、繰り返しがヘシアンが明確になるポイントに収束すると、この方法は二次局所収束を示します。
予備的な数値結果は、アルゴリズムの競争力を示しています。

要約(オリジナル)

We consider the problem of finding an $\epsilon$-stationary point of a nonconvex function with a Lipschitz continuous Hessian and propose a quadratic regularized Newton method incorporating a new class of regularizers constructed from the current and previous gradients. The method leverages a recently developed linear conjugate gradient approach with a negative curvature monitor to solve the regularized Newton equation. Notably, our algorithm is adaptive, requiring no prior knowledge of the Lipschitz constant of the Hessian, and achieves a global complexity of $O(\epsilon^{-\frac{3}{2}}) + \tilde O(1)$ in terms of the second-order oracle calls, and $\tilde O(\epsilon^{-\frac{7}{4}})$ for Hessian-vector products, respectively. Moreover, when the iterates converge to a point where the Hessian is positive definite, the method exhibits quadratic local convergence. Preliminary numerical results illustrate the competitiveness of our algorithm.

arxiv情報

著者 Yuhao Zhou,Jintao Xu,Chenglong Bao,Chao Ding,Jun Zhu
発行日 2025-02-14 16:53:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees はコメントを受け付けていません

Fenchel-Young Variational Learning

投稿日: 2025年2月17日 作成者: jarxiv

要約

変動の観点から、多くの統計学習基準には、経験的リスクと正則化のバランスをとる分布を求めることが含まれます。
この論文では、フェンチェルヨン（FY）の損失に基づいた新しい一般的なクラスの変動方法を導入することにより、この視点を広げます。
提案された策定 – FY変動学習 – には、FY自由エネルギー、FY証拠、FY証拠下限、およびFY事後の主要な成分として含まれています。
交互の最小化と勾配のバックプロパゲーションアルゴリズムを導き出して、以前の変動定式化よりも幅広いクラスのモデルを学習できるFY証拠を計算（または下限）します。
これにより、FYの期待値最大化（FYEM）アルゴリズムなどの古典的なアルゴリズムの一般的なFYバリアント、およびFY変分自動エンコーダー（FYVAE）などの潜在的な変動モデルにつながります。
私たちの新しい方法は、経験的に競争力があり、しばしば古典的なカウンターパートを上回ることができ、最も重要なこととして、定性的に新しい機能を持つことが示されています。
たとえば、ファイムは適応的にまばらなEステップを持っていますが、ファイバはまばらな観測とまばらな事後のモデルをサポートできます。

要約(オリジナル)

From a variational perspective, many statistical learning criteria involve seeking a distribution that balances empirical risk and regularization. In this paper, we broaden this perspective by introducing a new general class of variational methods based on Fenchel-Young (FY) losses, treated as divergences that generalize (and encompass) the familiar Kullback-Leibler divergence at the core of classical variational learning. Our proposed formulation — FY variational learning — includes as key ingredients new notions of FY free energy, FY evidence, FY evidence lower bound, and FY posterior. We derive alternating minimization and gradient backpropagation algorithms to compute (or lower bound) the FY evidence, which enables learning a wider class of models than previous variational formulations. This leads to generalized FY variants of classical algorithms, such as an FY expectation-maximization (FYEM) algorithm, and latent-variable models, such as an FY variational autoencoder (FYVAE). Our new methods are shown to be empirically competitive, often outperforming their classical counterparts, and most importantly, to have qualitatively novel features. For example, FYEM has an adaptively sparse E-step, while the FYVAE can support models with sparse observations and sparse posteriors.

arxiv情報

著者 Sophia Sklaviadis,Sweta Agrawal,Antonio Farinhas,Andre Martins,Mario Figueiredo
発行日 2025-02-14 16:57:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Fenchel-Young Variational Learning はコメントを受け付けていません

VT-GAN: Cooperative Tabular Data Synthesis using Vertical Federated Learning

投稿日: 2025年2月17日 作成者: jarxiv

要約

このホワイトペーパーでは、垂直フェデレートラーニング（VFL）の適用を提示して、生成攻撃ネットワーク（GAN）を使用して合成表形式データを生成します。
VFLは、同じ顧客グループのためにばらばらの機能を持っている金融機関など、異なる表形式データホルダーの間で機械学習モデルを訓練するための共同アプローチです。
このペーパーでは、VT-GANフレームワークである垂直フェデレーションの表形状GANを紹介し、VFLを使用して、分布した表形式データのGANをプライバシーに基づいて実装できることを実証します。
GANジェネレーターと識別子モデルの配布に関して設計を選択し、Gan条件付きベクターからのトレーニングデータを再構築できないように、シャッフルテクニックのトレーニングを導入します。
この論文は、（1）VT-GANの実装、（2）VT-GAN生成された合成データの詳細な品質評価、（3）VT-GANフレームワークの全体的なスケーラビリティ検査、（4）セキュリティ分析のセキュリティ分析
さまざまな分布特性を備えたさまざまなデータセットの場合、さまざまなプライバシーのさまざまな設定を伴うメンバーシップ推論攻撃に対するVT-Ganの堅牢性。
我々の結果は、VT-GANが集中GANアルゴリズムによって生成されたものと同等の品質の高忠実度の合成表形式データを一貫して生成できることを示しています。
機械学習ユーティリティの違いは、クライアント間での非常に不均衡なデータ分布または異なる数のクライアントであっても、2.7％という低い場合があります。

要約(オリジナル)

This paper presents the application of Vertical Federated Learning (VFL) to generate synthetic tabular data using Generative Adversarial Networks (GANs). VFL is a collaborative approach to train machine learning models among distinct tabular data holders, such as financial institutions, who possess disjoint features for the same group of customers. In this paper we introduce the VT-GAN framework, Vertical federated Tabular GAN, and demonstrate that VFL can be successfully used to implement GANs for distributed tabular data in privacy-preserving manner, with performance close to centralized GANs that assume shared data. We make design choices with respect to the distribution of GAN generator and discriminator models and introduce a training-with-shuffling technique so that no party can reconstruct training data from the GAN conditional vector. The paper presents (1) an implementation of VT-GAN, (2) a detailed quality evaluation of the VT-GAN-generated synthetic data, (3) an overall scalability examination of VT-GAN framework, (4) a security analysis on VT-GAN’s robustness against Membership Inference Attack with different settings of Differential Privacy, for a range of datasets with diverse distribution characteristics. Our results demonstrate that VT-GAN can consistently generate high-fidelity synthetic tabular data of comparable quality to that generated by a centralized GAN algorithm. The difference in machine learning utility can be as low as 2.7%, even under extremely imbalanced data distributions across clients or with different numbers of clients.

arxiv情報

著者 Zilong Zhao,Han Wu,Aad Van Moorsel,Lydia Y. Chen
発行日 2025-02-14 17:05:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | VT-GAN: Cooperative Tabular Data Synthesis using Vertical Federated Learning はコメントを受け付けていません

Uncertainty-Aware Explanations Through Probabilistic Self-Explainable Neural Networks

投稿日: 2025年2月17日 作成者: jarxiv

要約

深いニューラルネットワークの透明性の欠如は、ハイステークスアプリケーションでの信頼性と使用を深刻に損なう制限であり続けています。
このような制限を克服する有望なアプローチは、プロトタイプベースの自己実験可能なニューラルネットワーク（PSENNS）です。その予測は、手元の入力と出力クラスのプロトタイプ表現のセットとの類似性に依存しているため、深い、しかし透明性を提供します。
– 設計、アーキテクチャ。
この論文では、Prob-Psennと呼ばれるPsennsの確率的再構成を紹介します。これは、プロトタイプの点推定値をその値に対する確率分布に置き換えます。
これは、プロトタイプのエンドツーエンドの学習のためのより柔軟なフレームワークを提供するだけでなく、モデルの説明的な不確実性をキャプチャすることもできます。これは、以前のアプローチでは欠落している機能です。
さらに、プロトタイプは説明と予測の両方を決定するため、prob-psennsにより、モデルが情報のない予測または不確実な予測をいつ作成しているかを検出し、それらの有効な説明を取得できます。
私たちの実験は、Prob-Psennsが非生産性のあるカウンターパートよりも有意義で堅牢な説明を提供しながら、予測パフォーマンスの観点から競争力を維持し、モデルの説明可能性と信頼性を高めることを示しています。

要約(オリジナル)

The lack of transparency of Deep Neural Networks continues to be a limitation that severely undermines their reliability and usage in high-stakes applications. Promising approaches to overcome such limitations are Prototype-Based Self-Explainable Neural Networks (PSENNs), whose predictions rely on the similarity between the input at hand and a set of prototypical representations of the output classes, offering therefore a deep, yet transparent-by-design, architecture. In this paper, we introduce a probabilistic reformulation of PSENNs, called Prob-PSENN, which replaces point estimates for the prototypes with probability distributions over their values. This provides not only a more flexible framework for an end-to-end learning of prototypes, but can also capture the explanatory uncertainty of the model, which is a missing feature in previous approaches. In addition, since the prototypes determine both the explanation and the prediction, Prob-PSENNs allow us to detect when the model is making uninformed or uncertain predictions, and to obtain valid explanations for them. Our experiments demonstrate that Prob-PSENNs provide more meaningful and robust explanations than their non-probabilistic counterparts, while remaining competitive in terms of predictive performance, thus enhancing the explainability and reliability of the models.

arxiv情報

著者 Jon Vadillo,Roberto Santana,Jose A. Lozano,Marta Kwiatkowska
発行日 2025-02-14 17:30:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Uncertainty-Aware Explanations Through Probabilistic Self-Explainable Neural Networks はコメントを受け付けていません

Training Neural Networks on Data Sources with Unknown Reliability

投稿日: 2025年2月17日 作成者: jarxiv

要約

データが複数のソースによって生成される場合、従来のトレーニング方法は、各ソースの信頼性が等しいと仮定してモデルを更新し、個々のデータ品質を考慮しません。
ただし、多くのアプリケーションでは、情報源には、ニューラルネットワークのパフォーマンスに悪影響を与える可能性のある信頼性のさまざまなレベルがあります。
重要な問題は、多くの場合、個々のソースのデータの品質がトレーニング中に知られていないことです。
騒々しいデータの存在下でモデルをトレーニングするための以前の方法では、ソースラベルが提供できる追加情報を使用していません。
監視された学習に焦点を当てて、私たちは、可能性のある抑制によって動機付けられた動的な再重視戦略を使用して、ソースの推定信頼性に比例した多くのステップについて、各データソースのニューラルネットワークをトレーニングすることを目指しています。
このようにして、ウォームアップ中にすべてのソースでのトレーニングを許可し、モデルがノイズに過剰に輝くことが示されている最終的なトレーニング段階での信頼性の低いソースの学習を減らします。
多様な実験を通じて、これにより、信頼性の高い信頼できないデータソースの混合物でトレーニングされたときにモデルのパフォーマンスが大幅に向上し、信頼できるソースのみでモデルがトレーニングされている場合のパフォーマンスを維持できることが示されています。

要約(オリジナル)

When data is generated by multiple sources, conventional training methods update models assuming equal reliability for each source and do not consider their individual data quality. However, in many applications, sources have varied levels of reliability that can have negative effects on the performance of a neural network. A key issue is that often the quality of the data for individual sources is not known during training. Previous methods for training models in the presence of noisy data do not make use of the additional information that the source label can provide. Focusing on supervised learning, we aim to train neural networks on each data source for a number of steps proportional to the source’s estimated reliability by using a dynamic re-weighting strategy motivated by likelihood tempering. This way, we allow training on all sources during the warm-up and reduce learning on less reliable sources during the final training stages, when it has been shown that models overfit to noise. We show through diverse experiments that this can significantly improve model performance when trained on mixtures of reliable and unreliable data sources, and maintain performance when models are trained on reliable sources only.

arxiv情報

著者 Alexander Capstick,Francesca Palermo,Tianyu Cui,Payam Barnaghi
発行日 2025-02-14 17:35:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Training Neural Networks on Data Sources with Unknown Reliability はコメントを受け付けていません

Explain Yourself, Briefly! Self-Explaining Neural Networks with Concise Sufficient Reasons

投稿日: 2025年2月17日 作成者: jarxiv

要約

*最小限の十分な理由*一般的な説明の形式を表します – それに対応する値に一定に保持されている場合、予測が変更されないことを確認する入力機能の最小サブセット。
以前の *事後 *メソッドそのような説明を取得しようとしますが、2つの主な制限に直面します。（1）これらのサブセットを取得することは計算上の課題をもたらし、最もスケーラブルな方法を最適ではない、意味のないサブセットに収束させます。
（2）これらのメソッドは、分散不足の入力割り当てのサンプリングに大きく依存しており、潜在的に直感に反する動作をもたらします。
これらの制限に取り組むために、この作業では、自己教師のトレーニングアプローチを提案します。これは *十分なサブセットトレーニング *（SST）と呼ばれます。
SSTを使用して、モデルをトレーニングして、出力の不可欠な部分として予測の簡潔な十分な理由を生成します。
私たちの結果は、私たちのフレームワークが、競合する事後の方法よりも簡潔で忠実なサブセットが大幅に効率的に生成され、同等の予測パフォーマンスを維持することを示しています。

要約(オリジナル)

*Minimal sufficient reasons* represent a prevalent form of explanation – the smallest subset of input features which, when held constant at their corresponding values, ensure that the prediction remains unchanged. Previous *post-hoc* methods attempt to obtain such explanations but face two main limitations: (1) Obtaining these subsets poses a computational challenge, leading most scalable methods to converge towards suboptimal, less meaningful subsets; (2) These methods heavily rely on sampling out-of-distribution input assignments, potentially resulting in counterintuitive behaviors. To tackle these limitations, we propose in this work a self-supervised training approach, which we term *sufficient subset training* (SST). Using SST, we train models to generate concise sufficient reasons for their predictions as an integral part of their output. Our results indicate that our framework produces succinct and faithful subsets substantially more efficiently than competing post-hoc methods, while maintaining comparable predictive performance.

arxiv情報

著者 Shahaf Bassan,Ron Eliav,Shlomit Gur
発行日 2025-02-14 17:39:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.LO | Explain Yourself, Briefly! Self-Explaining Neural Networks with Concise Sufficient Reasons はコメントを受け付けていません