Statistical Modeling of Univariate Multimodal Data

投稿日: 2024年12月23日 作成者: jarxiv

要約

単峰性は、データの密度の単一モードを中心としたデータのグループ化動作を示す重要な特性を構成します。
データ密度の谷点の周りで再帰的に分割することにより、単変量データを単峰性のサブセットに分割する方法を提案します。
谷点の検出では、密度谷の存在を示す経験的累積密度関数 (ecdf) プロットの凸包上の臨界点の特性を導入します。
次に、均一混合モデル (UMM) の形式で、取得した単峰サブセットごとに統計モデルを提供する単峰データ モデリング アプローチを適用します。
その結果、初期データセットの階層統計モデルは、単峰性混合モデル (UDMM) と呼ばれる UMM の混合の形式で取得されます。
提案された方法はノンパラメトリックかつハイパーパラメータフリーで、単峰性サブセットの数を自動的に推定し、クラスタリングおよび密度推定タスクの実験結果が示すように正確な統計モデルを提供します。

要約(オリジナル)

Unimodality constitutes a key property indicating grouping behavior of the data around a single mode of its density. We propose a method that partitions univariate data into unimodal subsets through recursive splitting around valley points of the data density. For valley point detection, we introduce properties of critical points on the convex hull of the empirical cumulative density function (ecdf) plot that provide indications on the existence of density valleys. Next, we apply a unimodal data modeling approach that provides a statistical model for each obtained unimodal subset in the form of a Uniform Mixture Model (UMM). Consequently, a hierarchical statistical model of the initial dataset is obtained in the form of a mixture of UMMs, named as the Unimodal Mixture Model (UDMM). The proposed method is non-parametric, hyperparameter-free, automatically estimates the number of unimodal subsets and provides accurate statistical models as indicated by experimental results on clustering and density estimation tasks.

arxiv情報

著者 Paraskevi Chasani,Aristidis Likas
発行日 2024-12-20 13:49:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

Self-supervised Spatial-Temporal Learner for Precipitation Nowcasting

投稿日: 2024年12月23日 作成者: jarxiv

要約

天気の短期予測であるナウキャスティングは、天候に応じた意思決定をタイムリーに行うために不可欠です。
具体的には、降水ナウキャスティングは、6 時間以内の地域レベルでの降水量を予測することを目的としています。
このタスクは、時空間シーケンス予測問題として組み立てることができ、深層学習手法が特に効果的です。
ただし、自己教師あり学習の進歩にもかかわらず、ナウキャスティングの成功した手法のほとんどは完全に教師付きのままです。
自己教師あり学習は、大規模なラベル付きデータを必要とせずにモデルを事前トレーニングして表現を学習する場合に有利です。
この研究では、自己教師あり学習の利点を活用し、それを時空間学習と統合して、新しいモデルである SpaT-SparK を開発します。
SpaT-SparK は、マスク画像モデリング (MIM) タスクで事前学習された CNN ベースのエンコーダー/デコーダー構造と、下流タスクで過去および将来の降水マップ間の時間的関係をキャプチャする変換ネットワークで構成されます。
SpaT-SparK のパフォーマンスを評価するために、NL-50 データセットで実験を実施しました。
この結果は、SpaT-SparK が SmaAt-UNet などの既存のベースライン教師ありモデルよりも優れたパフォーマンスを示し、より正確なナウキャスティング予測を提供することを示しています。

要約(オリジナル)

Nowcasting, the short-term prediction of weather, is essential for making timely and weather-dependent decisions. Specifically, precipitation nowcasting aims to predict precipitation at a local level within a 6-hour time frame. This task can be framed as a spatial-temporal sequence forecasting problem, where deep learning methods have been particularly effective. However, despite advancements in self-supervised learning, most successful methods for nowcasting remain fully supervised. Self-supervised learning is advantageous for pretraining models to learn representations without requiring extensive labeled data. In this work, we leverage the benefits of self-supervised learning and integrate it with spatial-temporal learning to develop a novel model, SpaT-SparK. SpaT-SparK comprises a CNN-based encoder-decoder structure pretrained with a masked image modeling (MIM) task and a translation network that captures temporal relationships among past and future precipitation maps in downstream tasks. We conducted experiments on the NL-50 dataset to evaluate the performance of SpaT-SparK. The results demonstrate that SpaT-SparK outperforms existing baseline supervised models, such as SmaAt-UNet, providing more accurate nowcasting predictions.

arxiv情報

著者 Haotian Li,Arno Siebes,Siamak Mehrkanoon
発行日 2024-12-20 14:09:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Clustering Time-Evolving Networks Using the Spatio-Temporal Graph Laplacian

投稿日: 2024年12月23日 作成者: jarxiv

要約

時間発展グラフは、ソーシャル ネットワーク、交通の流れ、生物学的プロセスなどの複雑な動的システムをモデル化するときに頻繁に発生します。
このような時間とともに変化するグラフ構造内のコミュニティを特定して分析する手法を開発することは、重要な課題です。
この研究では、正準相関分析 (CCA) を使用して既存のスペクトル クラスタリング アルゴリズムを静的グラフから動的グラフに一般化して、クラスターの時間的進化を捉えます。
この拡張正準相関フレームワークに基づいて、時空間グラフ ラプラシアンを定義し、そのスペクトル特性を調査します。
これらの概念を伝達演算子を介して動的システム理論に結び付け、既存の手法と比較してベンチマーク グラフ上で我々の手法の利点を示します。
時空間グラフ ラプラシアンにより、有向グラフと無向グラフの時間の経過に伴うクラスター構造の進化を明確に解釈できることを示します。

要約(オリジナル)

Time-evolving graphs arise frequently when modeling complex dynamical systems such as social networks, traffic flow, and biological processes. Developing techniques to identify and analyze communities in these time-varying graph structures is an important challenge. In this work, we generalize existing spectral clustering algorithms from static to dynamic graphs using canonical correlation analysis (CCA) to capture the temporal evolution of clusters. Based on this extended canonical correlation framework, we define the spatio-temporal graph Laplacian and investigate its spectral properties. We connect these concepts to dynamical systems theory via transfer operators, and illustrate the advantages of our method on benchmark graphs by comparison with existing methods. We show that the spatio-temporal graph Laplacian allows for a clear interpretation of cluster structure evolution over time for directed and undirected graphs.

arxiv情報

著者 Maia Trower,Nataša Djurdjevac Conrad,Stefan Klus
発行日 2024-12-20 14:11:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SI, math.DS, stat.ML | コメントする

Data Preparation for Fairness-Performance Trade-Offs: A Practitioner-Friendly Alternative?

投稿日: 2024年12月23日 作成者: jarxiv

要約

機械学習 (ML) システムの採用が業界全体で増えているため、公平性と偏見に対処することが不可欠になっています。
多くのソリューションは ML における倫理的課題に焦点を当てていますが、最近の研究ではデータ自体がバイアスの主な原因であることが強調されています。
トレーニング前のバイアスを軽減する前処理手法は効果的ですが、モデルのパフォーマンスに影響を与え、統合が困難になる可能性があります。
対照的に、公平性を意識したデータ準備の実践は実務者にとって馴染みがあり、実装が容易であり、バイアスを軽減するためのよりアクセスしやすいアプローチを提供します。
客観的。
この登録済みレポートは、ML ライフサイクルの初期段階で適用される最適に選択された公平性を意識したプラクティスが、どのように公平性とパフォーマンスの両方を向上させ、標準的な前処理バイアス軽減方法を上回るパフォーマンスを実現できるかについての実証的評価を提案しています。
方法。
この目的を達成するために、公平性とパフォーマンスを最適化する「データ準備」パイプラインを選択するための最適化手法である FATE を導入します。
FATE を使用して、FATE によって選択されたパイプラインと前処理バイアス緩和手法による結果を比較し、公平性とパフォーマンスのトレードオフを分析します。

要約(オリジナル)

As machine learning (ML) systems are increasingly adopted across industries, addressing fairness and bias has become essential. While many solutions focus on ethical challenges in ML, recent studies highlight that data itself is a major source of bias. Pre-processing techniques, which mitigate bias before training, are effective but may impact model performance and pose integration difficulties. In contrast, fairness-aware Data Preparation practices are both familiar to practitioners and easier to implement, providing a more accessible approach to reducing bias. Objective. This registered report proposes an empirical evaluation of how optimally selected fairness-aware practices, applied in early ML lifecycle stages, can enhance both fairness and performance, potentially outperforming standard pre-processing bias mitigation methods. Method. To this end, we will introduce FATE, an optimization technique for selecting ‘Data Preparation’ pipelines that optimize fairness and performance. Using FATE, we will analyze the fairness-performance trade-off, comparing pipelines selected by FATE with results by pre-processing bias mitigation techniques.

arxiv情報

著者 Gianmario Voria,Rebecca Di Matteo,Giammaria Giordano,Gemma Catolino,Fabio Palomba
発行日 2024-12-20 14:12:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SE | コメントする

RiTTA: Modeling Event Relations in Text-to-Audio Generation

投稿日: 2024年12月23日 作成者: jarxiv

要約

Text-to-Audio (TTA) 生成モデルは大幅に進歩し、詳細なコンテキスト理解による忠実度の高いオーディオを実現していますが、入力テキストに記述されたオーディオ イベント間の関係をモデル化するのは困難です。
ただし、これまでの TTA 手法では、オーディオ イベント関係モデリングを体系的に検討しておらず、この機能を強化するフレームワークも提案していませんでした。
この研究では、TTA 生成モデルにおけるオーディオ イベント関係モデリングを体系的に研究します。
まず、次のことによってこのタスクのベンチマークを確立します。 1. 現実世界のシナリオにおけるすべての潜在的な関係をカバーする包括的な関係コーパスを提案します。
2. 一般的に聞かれる音声を網羅した新しい音声イベント コーパスの導入。
3. オーディオ イベント関係モデリングをさまざまな観点から評価するための新しい評価指標を提案します。
さらに、既存の TTA モデルのオーディオ イベント関係をモデル化する機能を強化するための微調整フレームワークを提案します。
コードはhttps://github.com/yuhanghe01/RiTTAから入手できます。

要約(オリジナル)

Despite significant advancements in Text-to-Audio (TTA) generation models achieving high-fidelity audio with fine-grained context understanding, they struggle to model the relations between audio events described in the input text. However, previous TTA methods have not systematically explored audio event relation modeling, nor have they proposed frameworks to enhance this capability. In this work, we systematically study audio event relation modeling in TTA generation models. We first establish a benchmark for this task by: 1. proposing a comprehensive relation corpus covering all potential relations in real-world scenarios; 2. introducing a new audio event corpus encompassing commonly heard audios; and 3. proposing new evaluation metrics to assess audio event relation modeling from various perspectives. Furthermore, we propose a finetuning framework to enhance existing TTA models ability to model audio events relation. Code is available at: https://github.com/yuhanghe01/RiTTA

arxiv情報

著者 Yuhang He,Yash Jain,Xubo Liu,Andrew Markham,Vibhav Vineet
発行日 2024-12-20 14:14:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SD, eess.AS | コメントする

Mamba-based Deep Learning Approaches for Sleep Staging on a Wireless Multimodal Wearable System without Electroencephalography

投稿日: 2024年12月23日 作成者: jarxiv

要約

研究の目的: 胸部心電図 (ECG)、三軸加速度計、および体温を測定する、侵入を最小限に抑えたデュアルセンサー無線ウェアラブル システムである ANNE One (Sibel Health、イリノイ州エヴァンストン) からの信号に対する睡眠ステージングのための Mamba ベースの深層学習アプローチの使用を調査します。
、指の光電脈波検査（PPG）と体温も同様です。
方法: 三次医療睡眠検査室で同時に臨床ポリ睡眠検査 (PSG) を受けている 360 人の成人からウェアラブル センサーの記録を入手しました。
PSG の録音は AASM 基準に従って採点されました。
PSG とウェアラブル センサーのデータは、ECG チャンネルを使用して自動的に調整され、目視検査による手動確認が行われました。
これらの記録に対して、畳み込み再帰型ニューラル ネットワーク (CRNN) と再帰型ニューラル ネットワーク (RNN) アーキテクチャの両方を使用して Mamba ベースのモデルをトレーニングしました。
同様のアーキテクチャを持つモデル バリアントのアンサンブルが実行されました。
結果: アンサンブル後の最良のアプローチは、3 クラス (ウェイク、NREM、REM) のバランスの取れた精度 83.50%、F1 スコア 84.16%、Cohen の $\kappa$ 72.68%、MCC スコア 72.84% を達成しました。
4 クラス (ウェイク、N1/N2、N3、REM) のバランスの取れた精度は 74.64%、F1 スコアは 74.56%、Cohen の $\kappa$ は 61.63%、MCC スコアは 62.04%。
5 クラス (ウェイク、N1、N2、N3、REM) のバランスの取れた精度は 64.30%、F1 スコアは 66.97%、Cohen の $\kappa$ は 53.23%、MCC スコアは 54.38% でした。
結論: 深層学習モデルは、脳波検査 (EEG) なしでウェアラブル システムから主要な睡眠段階を推測でき、三次医療の睡眠クリニックに通う成人のデータにうまく適用できます。

要約(オリジナル)

Study Objectives: We investigate using Mamba-based deep learning approaches for sleep staging on signals from ANNE One (Sibel Health, Evanston, IL), a minimally intrusive dual-sensor wireless wearable system measuring chest electrocardiography (ECG), triaxial accelerometry, and temperature, as well as finger photoplethysmography (PPG) and temperature. Methods: We obtained wearable sensor recordings from 360 adults undergoing concurrent clinical polysomnography (PSG) at a tertiary care sleep lab. PSG recordings were scored according to AASM criteria. PSG and wearable sensor data were automatically aligned using their ECG channels with manual confirmation by visual inspection. We trained Mamba-based models with both convolutional-recurrent neural network (CRNN) and the recurrent neural network (RNN) architectures on these recordings. Ensembling of model variants with similar architectures was performed. Results: Our best approach, after ensembling, attains a 3-class (wake, NREM, REM) balanced accuracy of 83.50%, F1 score of 84.16%, Cohen’s $\kappa$ of 72.68%, and a MCC score of 72.84%; a 4-class (wake, N1/N2, N3, REM) balanced accuracy of 74.64%, F1 score of 74.56%, Cohen’s $\kappa$ of 61.63%, and MCC score of 62.04%; a 5-class (wake, N1, N2, N3, REM) balanced accuracy of 64.30%, F1 score of 66.97%, Cohen’s $\kappa$ of 53.23%, MCC score of 54.38%. Conclusions: Deep learning models can infer major sleep stages from a wearable system without electroencephalography (EEG) and can be successfully applied to data from adults attending a tertiary care sleep clinic.

arxiv情報

著者 Andrew H. Zhang,Alex He-Mo,Richard Fei Yin,Chunlin Li,Yuzhi Tang,Dharmendra Gurve,Nasim Montazeri Ghahjaverestan,Maged Goubran,Bo Wang,Andrew S. P. Lim
発行日 2024-12-20 14:43:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.QM | コメントする

Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization

投稿日: 2024年12月23日 作成者: jarxiv

要約

$p$-norm、$p \geq 1$ に関して凸で滑らかな経験的リスク最小化 (ERM) 問題に対して一様に安定な一次アルゴリズムを研究します。
我々は、一様凸正則化子の特性を利用することにより、以前の滑らかな凸損失の最適化アルゴリズムを、超過リスクに対する最適な統計的リスク限界を有する一様に安定した学習アルゴリズムに変えるブラックボックス削減手法を提案します。
$p$ に応じた係数。
一様安定性のためのブラックボックス削減の達成は、ユークリッドの場合 $p=2$ を解決した (Attia and Koren, 2022) によって未解決の問題として提起されました。
私たちは、二項分類問題に対処する際に非ユークリッド幾何学を活用するアプリケーションを探索します。

要約(オリジナル)

We study first-order algorithms that are uniformly stable for empirical risk minimization (ERM) problems that are convex and smooth with respect to $p$-norms, $p \geq 1$. We propose a black-box reduction method that, by employing properties of uniformly convex regularizers, turns an optimization algorithm for H\’older smooth convex losses into a uniformly stable learning algorithm with optimal statistical risk bounds on the excess risk, up to a constant factor depending on $p$. Achieving a black-box reduction for uniform stability was posed as an open question by (Attia and Koren, 2022), which had solved the Euclidean case $p=2$. We explore applications that leverage non-Euclidean geometry in addressing binary classification problems.

arxiv情報

著者 Simon Vary,David Martínez-Rubio,Patrick Rebeschini
発行日 2024-12-20 14:50:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68Q32, 90C25, cs.LG, G.1.6, math.OC, stat.ML | コメントする

Little is Enough: Boosting Privacy by Sharing Only Hard Labels in Federated Semi-Supervised Learning

投稿日: 2024年12月23日 作成者: jarxiv

要約

多くの重要なアプリケーションでは、機密データは本質的に分散されており、プライバシー上の懸念から一元化できません。
機密データを共有せずに、各クライアントでモデルをローカルにトレーニングするための幅広いフェデレーテッド ラーニング アプローチが提案されています。通常は、モデル パラメーター、または公開データセット上の確率的予測 (ソフト ラベル) またはその両方の組み合わせを交換します。
ただし、これらの方法では依然として個人情報が開示され、ローカル モデルは勾配ベースの方法を使用してトレーニングできるものに制限されます。
私たちは、ラベルのない公開データセット上の最終的な (ハード) ラベルのみを共有することでプライバシーを向上させるフェデレーション共同トレーニング (FedCT) アプローチを提案します。
クライアントは、これらの共有ラベルのコンセンサスをローカル トレーニングの疑似ラベルとして使用します。
このフェデレーテッド共同トレーニング アプローチは、モデルの品質を損なうことなく、経験的にプライバシーを強化します。
さらに、勾配ブースト デシジョン ツリー、ルール アンサンブル、ランダム フォレストなど、従来のフェデレーション ラーニングでのパラメーター集約には適していないローカル モデルの使用が可能になります。
さらに、FedCT が大規模な言語モデルのフェデレーテッド微調整において効果的に機能し、その擬似ラベル付けメカニズムが特に有益であることが観察されました。
実証的評価と理論的分析により、さまざまな連合学習シナリオに適用できることが示唆されています。

要約(オリジナル)

In many critical applications, sensitive data is inherently distributed and cannot be centralized due to privacy concerns. A wide range of federated learning approaches have been proposed to train models locally at each client without sharing their sensitive data, typically by exchanging model parameters, or probabilistic predictions (soft labels) on a public dataset or a combination of both. However, these methods still disclose private information and restrict local models to those that can be trained using gradient-based methods. We propose a federated co-training (FedCT) approach that improves privacy by sharing only definitive (hard) labels on a public unlabeled dataset. Clients use a consensus of these shared labels as pseudo-labels for local training. This federated co-training approach empirically enhances privacy without compromising model quality. In addition, it allows the use of local models that are not suitable for parameter aggregation in traditional federated learning, such as gradient-boosted decision trees, rule ensembles, and random forests. Furthermore, we observe that FedCT performs effectively in federated fine-tuning of large language models, where its pseudo-labeling mechanism is particularly beneficial. Empirical evaluations and theoretical analyses suggest its applicability across a range of federated learning scenarios.

arxiv情報

著者 Amr Abourayya,Jens Kleesiek,Kanishka Rao,Erman Ayday,Bharat Rao,Geoff Webb,Michael Kamp
発行日 2024-12-20 14:51:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Scientific Realism vs. Anti-Realism: Toward a Common Ground

投稿日: 2024年12月23日 作成者: jarxiv

要約

科学的実在論と反実在論の間の議論は依然として行き詰まり、和解は絶望的であるように思われる。
しかし、重要な作業はまだ残っている。それは、たとえ深い意見の相違点を明らかにし、理想的には議論の双方に利益をもたらすだけであっても、共通点を探ることである。
私はそのような共通点を提案します。
具体的には、楽器奏者などの反現実主義者の多くは、自分たちが好むバージョンのオッカムのかみそりを肯定的な説明を通じて正当化するというソーバーの呼びかけにまだ真剣に取り組んでいない。
一方、現実主義者も同様の課題に直面しています。それは、自分たちのバージョンのオッカムのカミソリが真実とどのように結びついているのかについて、循環的ではない説明を提供することです。
私が提案する共通基盤は、双方のこれらの課題に対処するものです。
重要なのは、誰もが何らかの真実を尊重するという考えを活用し、科学的推論を研究する科学分野、つまり統計と機械学習からの洞察を活用することです。
この共通点は、リアリズム論争における非和解性の認識論的な根源を明確に分離するものでもある。

要約(オリジナル)

The debate between scientific realism and anti-realism remains at a stalemate, making reconciliation seem hopeless. Yet, important work remains: exploring a common ground, even if only to uncover deeper points of disagreement and, ideally, to benefit both sides of the debate. I propose such a common ground. Specifically, many anti-realists, such as instrumentalists, have yet to seriously engage with Sober’s call to justify their preferred version of Ockham’s razor through a positive account. Meanwhile, realists face a similar challenge: providing a non-circular explanation of how their version of Ockham’s razor connects to truth. The common ground I propose addresses these challenges for both sides; the key is to leverage the idea that everyone values some truths and to draw on insights from scientific fields that study scientific inference — namely, statistics and machine learning. This common ground also isolates a distinctively epistemic root of the irreconcilability in the realism debate.

arxiv情報

著者 Hanti Lin
発行日 2024-12-20 14:55:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ME, stat.OT | コメントする

Augment then Smooth: Reconciling Differential Privacy with Certified Robustness

投稿日: 2024年12月23日 作成者: jarxiv

要約

機械学習モデルは、トレーニング データのプライバシーに対する攻撃や、モデルの精度を危険にさらす敵対的な例など、信頼を損なう可能性のあるさまざまな攻撃の影響を受けやすくなります。
差分プライバシーと認定された堅牢性は、それぞれ将来にわたる保証を提供するため、これら 2 つの脅威にそれぞれ対抗するための効果的なフレームワークです。
ただし、標準の差分プライベート モデル トレーニングでは、強力な認定された堅牢性の保証を提供するには不十分であることを示します。
実際、単一システム内で差分プライバシーと認定された堅牢性を組み合わせるのは簡単ではなく、これまでの研究では柔軟性に欠ける複雑なトレーニング スキームを導入することになりました。
この研究では、ランダム化された平滑化を標準の差分プライベート モデル トレーニングに統合することで、プライバシーと堅牢性の両方の保証を同時に実現するシンプルで効果的な方法である DP-CERT を紹介します。
主要な先行研究と比較して、DP-CERT は、CIFAR10 における同じ差分プライバシー保証の認定精度を最大 2.5% 向上させています。
サンプルごとの詳細なメトリクス分析を通じて、より大きな証明可能な半径はより小さな局所リプシッツ定数と相関があることがわかり、DP-CERT が他の差分プライベート トレーニング方法と比較してリプシッツ定数を効果的に低減することを示します。
コードは github.com/layer6ai-labs/dp-cert で入手できます。

要約(オリジナル)

Machine learning models are susceptible to a variety of attacks that can erode trust, including attacks against the privacy of training data, and adversarial examples that jeopardize model accuracy. Differential privacy and certified robustness are effective frameworks for combating these two threats respectively, as they each provide future-proof guarantees. However, we show that standard differentially private model training is insufficient for providing strong certified robustness guarantees. Indeed, combining differential privacy and certified robustness in a single system is non-trivial, leading previous works to introduce complex training schemes that lack flexibility. In this work, we present DP-CERT, a simple and effective method that achieves both privacy and robustness guarantees simultaneously by integrating randomized smoothing into standard differentially private model training. Compared to the leading prior work, DP-CERT gives up to a 2.5% increase in certified accuracy for the same differential privacy guarantee on CIFAR10. Through in-depth per-sample metric analysis, we find that larger certifiable radii correlate with smaller local Lipschitz constants, and show that DP-CERT effectively reduces Lipschitz constants compared to other differentially private training methods. The code is available at github.com/layer6ai-labs/dp-cert.

arxiv情報

著者 Jiapeng Wu,Atiyeh Ashari Ghomi,David Glukhov,Jesse C. Cresswell,Franziska Boenisch,Nicolas Papernot
発行日 2024-12-20 15:28:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | コメントする