Optimization Insights into Deep Diagonal Linear Networks

投稿日: 2025年4月2日 作成者: jarxiv

要約

（確率的）勾配降下で訓練されたオーバーパラメーター化されたモデルは、現代の機械学習で遍在しています。
これらの大規模なモデルは、テストデータで前例のないパフォーマンスを実現しますが、その理論的理解はまだ限られています。
この論文では、最適化の観点を採用することにより、このギャップを埋めるための一歩を踏み出します。
より正確には、深い斜めのニューラルネットワークのパラメーターを推定するための勾配フロー「アルゴリズム」の暗黙的な正規化特性を研究します。
私たちの主な貢献は、この勾配の流れがモデルにミラーフローの動的を誘導することを示しています。つまり、ネットワークの初期化に応じて問題の特定の解に偏っています。
途中で、軌道のいくつかの特性を証明します。

要約(オリジナル)

Overparameterized models trained with (stochastic) gradient descent are ubiquitous in modern machine learning. These large models achieve unprecedented performance on test data, but their theoretical understanding is still limited. In this paper, we take a step towards filling this gap by adopting an optimization perspective. More precisely, we study the implicit regularization properties of the gradient flow ‘algorithm’ for estimating the parameters of a deep diagonal neural network. Our main contribution is showing that this gradient flow induces a mirror flow dynamic on the model, meaning that it is biased towards a specific solution of the problem depending on the initialization of the network. Along the way, we prove several properties of the trajectory.

arxiv情報

著者 Hippolyte Labarrière,Cesare Molinari,Lorenzo Rosasco,Silvia Villa,Cristian Vega
発行日 2025-04-01 13:13:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, stat.ML | Optimization Insights into Deep Diagonal Linear Networks はコメントを受け付けていません

Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion

投稿日: 2025年4月2日 作成者: jarxiv

要約

離散表現を連続的な潜在空間に埋め込むことにより、連続空間潜在拡散モデルを活用して、離散データの生成モデリングを処理できます。
ただし、最初の成功にもかかわらず、ほとんどの潜在的な拡散方法は固定された前提条件の埋め込みに依存しており、拡散モデルとの共同トレーニングの利点を制限しています。
埋め込み（再構成損失を介して）と潜在的拡散モデル（スコアマッチング損失を介して）を共同で学習している間、パフォーマンスを向上させることができます。
この問題を軽減するために、トレーニングを安定させる埋め込みスペース内に連続空間潜在的拡散フレームワークであるVQ-LCMDを導入します。
VQ-LCMDは、シフトしたコサインノイズスケジュールとランダムドロップ戦略に加えて、ジョイント埋め込み拡散拡散変分の下限と一貫性マッチング（CM）損失を組み合わせた新しいトレーニング目標を使用します。
いくつかのベンチマークでの実験は、提案されたVQ-LCMDが、個別の状態潜在拡散モデルと比較して、FFHQ、LSUN教会、LSUNのベッドルームで優れた結果をもたらすことを示しています。
特に、VQ-LCMDは、50ステップのImagenetでのクラス条件付き画像生成に対して6.81のFIDを達成します。

要約(オリジナル)

By embedding discrete representations into a continuous latent space, we can leverage continuous-space latent diffusion models to handle generative modeling of discrete data. However, despite their initial success, most latent diffusion methods rely on fixed pretrained embeddings, limiting the benefits of joint training with the diffusion model. While jointly learning the embedding (via reconstruction loss) and the latent diffusion model (via score matching loss) could enhance performance, end-to-end training risks embedding collapse, degrading generation quality. To mitigate this issue, we introduce VQ-LCMD, a continuous-space latent diffusion framework within the embedding space that stabilizes training. VQ-LCMD uses a novel training objective combining the joint embedding-diffusion variational lower bound with a consistency-matching (CM) loss, alongside a shifted cosine noise schedule and random dropping strategy. Experiments on several benchmarks show that the proposed VQ-LCMD yields superior results on FFHQ, LSUN Churches, and LSUN Bedrooms compared to discrete-state latent diffusion models. In particular, VQ-LCMD achieves an FID of 6.81 for class-conditional image generation on ImageNet with 50 steps.

arxiv情報

著者 Bac Nguyen,Chieh-Hsin Lai,Yuhta Takida,Naoki Murata,Toshimitsu Uesaka,Stefano Ermon,Yuki Mitsufuji
発行日 2025-04-01 13:38:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion はコメントを受け付けていません

Innovative LSGTime Model for Crime Spatiotemporal Prediction Based on MindSpore Framework

投稿日: 2025年4月2日 作成者: jarxiv

要約

都市化の加速により、犯罪行為の時空間的特性はますます複雑になっています。
犯罪分布の正確な予測は、警察のリソースの配分を最適化し、犯罪を防止するために重要です。
このペーパーでは、長期記憶（LSTM）、ゲート再発ユニット（GRU）、および多毛のまばらな自己触媒メカニズムを統合する犯罪空間的予測モデルであるLGSTIMEを提案します。
LSTMとGRUは、独自のゲーティングメカニズムを通じて、季節性や周期性などの犯罪時系列に長期的な依存関係を捉えています。
一方、マルチヘッドスパースの自己触媒メカニズムは、並列処理とスパース化技術を通じて、犯罪イベントの時間的および空間的特徴の両方に同時に焦点を当て、計算効率と予測精度を大幅に改善します。
統合モデルは、複雑な時空データをよりよく処理するために、各手法の強度を活用します。
実験的調査結果は、モデルが4つの実際の世界犯罪データセットで最適なパフォーマンスを達成することを示しています。
CNNモデルと比較して、平均二乗誤差（MSE）、平均絶対誤差（MAE）、およびルート平均2乗誤差（RMSE）メトリックでそれぞれ2.8 \％、1.9 \％、および1.4 \％のパフォーマンス向上を示します。
これらの結果は、犯罪予測の課題に取り組むための貴重な参照を提供します。

要約(オリジナル)

With the acceleration of urbanization, the spatiotemporal characteristics of criminal activities have become increasingly complex. Accurate prediction of crime distribution is crucial for optimizing the allocation of police resources and preventing crime. This paper proposes LGSTime, a crime spatiotemporal prediction model that integrates Long Short-Term Memory (LSTM), Gated Recurrent Unit (GRU), and the Multi-head Sparse Self-attention mechanism. LSTM and GRU capture long-term dependencies in crime time series, such as seasonality and periodicity, through their unique gating mechanisms. The Multi-head Sparse Self-attention mechanism, on the other hand, focuses on both temporal and spatial features of criminal events simultaneously through parallel processing and sparsification techniques, significantly improving computational efficiency and prediction accuracy. The integrated model leverages the strengths of each technique to better handle complex spatiotemporal data. Experimental findings demonstrate that the model attains optimal performance across four real – world crime datasets. In comparison to the CNN model, it exhibits performance enhancements of 2.8\%, 1.9\%, and 1.4\% in the Mean Squared Error (MSE), Mean Absolute Error (MAE), and Root Mean Squared Error (RMSE) metrics respectively. These results offer a valuable reference for tackling the challenges in crime prediction.

arxiv情報

著者 Zhenkai Qin,BaoZhong Wei,Caifeng Gao
発行日 2025-04-01 13:50:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Innovative LSGTime Model for Crime Spatiotemporal Prediction Based on MindSpore Framework はコメントを受け付けていません

Patient-specific prediction of glioblastoma growth via reduced order modeling and neural networks

投稿日: 2025年4月2日 作成者: jarxiv

要約

膠芽腫は、成人の最も攻撃的な脳腫瘍の1つであり、基礎となる脳微細構造によって駆動される患者特異的浸潤パターンを特徴としています。
この作業では、GBL成長の数学的モデルの概念実証を提示し、縦断的な神経画像データからのリアルタイム予測と患者固有のパラメーター識別を可能にします。
このフレームワークは、拡散インターフェイス数学モデルを活用して、腫瘍の進化と低秩序モデリング戦略を説明し、適切な直交分解に依存しており、磁気共鳴画像法と拡散テンソルイメージングから再構築された患者固有の脳の解剖学的構造に導かれた合成データで訓練されています。
ニューラルネットワークのサロゲートは、腫瘍の進化からモデルパラメーターへの逆マッピングを学習し、高精度を維持しながら大幅な計算速度を達成します。
堅牢性と解釈可能性を確保するために、グローバルおよびローカルの感受性分析の両方を実行し、腫瘍のダイナミクスを管理する重要な生物物理学的パラメーターを特定し、逆問題解の安定性を評価します。
これらの結果は、神経腫瘍学における患者固有のデジタル双子の将来の臨床展開の方法論的基盤を確立します。

要約(オリジナル)

Glioblastoma is among the most aggressive brain tumors in adults, characterized by patient-specific invasion patterns driven by the underlying brain microstructure. In this work, we present a proof-of-concept for a mathematical model of GBL growth, enabling real-time prediction and patient-specific parameter identification from longitudinal neuroimaging data. The framework exploits a diffuse-interface mathematical model to describe the tumor evolution and a reduced-order modeling strategy, relying on proper orthogonal decomposition, trained on synthetic data derived from patient-specific brain anatomies reconstructed from magnetic resonance imaging and diffusion tensor imaging. A neural network surrogate learns the inverse mapping from tumor evolution to model parameters, achieving significant computational speed-up while preserving high accuracy. To ensure robustness and interpretability, we perform both global and local sensitivity analyses, identifying the key biophysical parameters governing tumor dynamics and assessing the stability of the inverse problem solution. These results establish a methodological foundation for future clinical deployment of patient-specific digital twins in neuro-oncology.

arxiv情報

著者 D. Cerrone,D. Riccobelli,S. Gazzoni,P. Vitullo,F. Ballarin,J. Falco,F. Acerbi,A. Manzoni,P. Zunino,P. Ciarletta
発行日 2025-04-01 14:23:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, eess.IV, math.NA, physics.bio-ph, q-bio.TO | Patient-specific prediction of glioblastoma growth via reduced order modeling and neural networks はコメントを受け付けていません

Semantic Learning for Molecular Communication in Internet of Bio-Nano Things

投稿日: 2025年4月2日 作成者: jarxiv

要約

Molecular Communication（MC）は、効率と信頼性が非常に重要であるBio-Nano Minterno Things（IOBNT）の情報伝送の基礎フレームワークを提供します。
ただし、低透過速度、ノイズ、シンボル間干渉（ISI）などの分子チャネルの固有の制限により、複雑なデータ伝送をサポートする能力が制限されます。
このペーパーでは、リソースに制約のある条件下で生物医学的診断タスクに焦点を当てたタスク指向の分子コミュニケーションを最適化するように設計されたエンドツーエンドのセマンティック学習フレームワークを提案します。
提案されたフレームワークは、深いエンコーダデコーダーアーキテクチャを採用して、セマンティック機能を効率的に抽出、量子化、およびデコードし、診断分類パフォーマンスを強化するためにタスクリレーションのセマンティック情報に優先順位を付けます。
さらに、確率的チャネルネットワークが近似分子伝播ダイナミクスに導入され、エンドツーエンド学習の勾配ベースの最適化が可能になります。
実験結果は、提案されたセマンティックフレームワークが、リソース制約のある通信シナリオでLDPCコーディング方法を使用した従来のJPEG圧縮と比較して、診断精度を少なくとも25％改善することを示しています。

要約(オリジナル)

Molecular communication (MC) provides a foundational framework for information transmission in the Internet of Bio-Nano Things (IoBNT), where efficiency and reliability are crucial. However, the inherent limitations of molecular channels, such as low transmission rates, noise, and intersymbol interference (ISI), limit their ability to support complex data transmission. This paper proposes an end-to-end semantic learning framework designed to optimize task-oriented molecular communication, with a focus on biomedical diagnostic tasks under resource-constrained conditions. The proposed framework employs a deep encoder-decoder architecture to efficiently extract, quantize, and decode semantic features, prioritizing taskrelevant semantic information to enhance diagnostic classification performance. Additionally, a probabilistic channel network is introduced to approximate molecular propagation dynamics, enabling gradient-based optimization for end-to-end learning. Experimental results demonstrate that the proposed semantic framework improves diagnostic accuracy by at least 25% compared to conventional JPEG compression with LDPC coding methods under resource-constrained communication scenarios.

arxiv情報

著者 Hanlin Cai,Ozgur B. Akan
発行日 2025-04-01 14:32:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.ET, cs.LG, eess.IV, eess.SP | Semantic Learning for Molecular Communication in Internet of Bio-Nano Things はコメントを受け付けていません

Hierarchical Procedural Framework for Low-latency Robot-Assisted Hand-Object Interaction

投稿日: 2025年4月2日 作成者: jarxiv

要約

ロボット工学の進歩により、ヒューマンロボット相互作用（HRI）テクノロジーの開発が促進されています。
ただし、人間の行動を正確に認識し、適応制御を達成することは、人間とロボットの動きの間のシームレスな調整を促進する際の課題です。
このホワイトペーパーでは、動的なロボット支援ハンドオブジェクトの相互作用を可能にするための階層的な手続き型フレームワークを提案します。
オープンループ階層は、ハンドモーションをロボットアクションに変換するように設計されたモーションプリミティブに基づいて、コンピュータービジョン（CV）ベースの3D再構成を人間の手の3D再構成を活用します。
低レベルの調整階層は、連続的に更新された3Dハンドモデルを使用して、ロボットのアクションを微調整します。
実験的検証は、階層制御アーキテクチャの有効性を示しています。
人間とロボットの行動との間の適応調整は、テレと相互作用のシナリオで$ \ leq 0.3 $秒の遅延を達成しました。
リングウエアのタスクのケーススタディは、ヘルスケアや製造などの支援技術におけるこの作業の潜在的な適用を示しています。

要約(オリジナル)

Advances in robotics have been driving the development of human-robot interaction (HRI) technologies. However, accurately perceiving human actions and achieving adaptive control remains a challenge in facilitating seamless coordination between human and robotic movements. In this paper, we propose a hierarchical procedural framework to enable dynamic robot-assisted hand-object interaction. An open-loop hierarchy leverages the computer vision (CV)-based 3D reconstruction of the human hand, based on which motion primitives have been designed to translate hand motions into robotic actions. The low-level coordination hierarchy fine-tunes the robot’s action by using the continuously updated 3D hand models. Experimental validation demonstrates the effectiveness of the hierarchical control architecture. The adaptive coordination between human and robot behavior has achieved a delay of $\leq 0.3$ seconds in the tele-interaction scenario. A case study of ring-wearing tasks indicates the potential application of this work in assistive technologies such as healthcare and manufacturing.

arxiv情報

著者 Mingqi Yuan,Huijiang Wang,Kai-Fung Chu,Fumiya Iida,Bo Li,Wenjun Zeng
発行日 2025-04-01 14:35:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Hierarchical Procedural Framework for Low-latency Robot-Assisted Hand-Object Interaction はコメントを受け付けていません

Modeling and Analyzing the Influence of Non-Item Pages on Sequential Next-Item Prediction

投稿日: 2025年4月2日 作成者: jarxiv

要約

ユーザーとアイテム間の相互作用のシーケンスを分析すると、シーケンシャル推奨モデルはユーザーの意図を学習し、次のアイテムについて予測することができます。
アイテムの相互作用の次に、ほとんどのシステムには、項目以外のページと呼ばれるものとのやり取りもあります。これらのページは特定のアイテムとは関係ありませんが、たとえばナビゲーションページなど、ユーザーの興味についての洞察を提供できます。
したがって、これらの非ITEMページを連続的な推奨モデルに含める一般的な方法を提案して、次項目の予測を強化します。
まず、仮説テストフレームワークの催眠術を使用して、次の相互作用に対する非ITEMページの影響を示し、順次推奨モデルで非ITEMページを表す方法を提案します。
その後、人気のあるシーケンシャルの推奨モデルを適応させて、非ITEMページを統合し、さまざまなアイテム表現戦略とノイズの多いデータを処理する能力でパフォーマンスを調査します。
非ITEMページを統合するモデルの一般的な機能を表示するために、制御された設定の合成データセットを作成し、2つの実際のデータセットに非ITEMページを含めることからの改善を評価します。
我々の結果は、非項目ページが貴重な情報源であることを示しており、それらを連続的な推奨モデルに組み込むと、分析されたすべてのモデルアーキテクチャにわたってネクストアイテム予測のパフォーマンスが向上します。

要約(オリジナル)

Analyzing sequences of interactions between users and items, sequential recommendation models can learn user intent and make predictions about the next item. Next to item interactions, most systems also have interactions with what we call non-item pages: these pages are not related to specific items but still can provide insights into the user’s interests, as, for example, navigation pages. We therefore propose a general way to include these non-item pages in sequential recommendation models to enhance next-item prediction. First, we demonstrate the influence of non-item pages on following interactions using the hypotheses testing framework HypTrails and propose methods for representing non-item pages in sequential recommendation models. Subsequently, we adapt popular sequential recommender models to integrate non-item pages and investigate their performance with different item representation strategies as well as their ability to handle noisy data. To show the general capabilities of the models to integrate non-item pages, we create a synthetic dataset for a controlled setting and then evaluate the improvements from including non-item pages on two real-world datasets. Our results show that non-item pages are a valuable source of information, and incorporating them in sequential recommendation models increases the performance of next-item prediction across all analyzed model architectures.

arxiv情報

著者 Elisabeth Fischer,Albin Zehe,Andreas Hotho,Daniel Schlör
発行日 2025-04-01 15:03:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IR, cs.LG | Modeling and Analyzing the Influence of Non-Item Pages on Sequential Next-Item Prediction はコメントを受け付けていません

One Policy to Run Them All: an End-to-end Learning Approach to Multi-Embodiment Locomotion

投稿日: 2025年4月2日 作成者: jarxiv

要約

深い補強学習技術は、堅牢な脚の移動で最先端の結果を達成しています。
四角形、ヒューマノイド、六角形などの多種多様な足のプラットフォームが存在しますが、この異なる実施形態をすべて容易かつ効果的に制御できる単一の学習フレームワークが依然として欠落しています。
このギャップを埋めるために、Unified Robotの形態アーキテクチャであるUrmaを紹介します。
私たちのフレームワークは、脚のあるロボットの領域にエンドツーエンドのマルチタスク強化学習アプローチをもたらし、学習ポリシーがあらゆるタイプのロボット形態を制御できるようにします。
私たちの方法の重要なアイデアは、形態と存在するエンコーダとデコーダーのおかげで、実施形態の間でシームレスに共有できる抽象的な移動コントローラーをネットワークが学習できるようにすることです。
この柔軟なアーキテクチャは、脚のあるロボット移動の基礎モデルを構築する際の潜在的な第一歩と見なすことができます。
私たちの実験は、URMAがシミュレーションと現実世界で目に見えないロボットプラットフォームに簡単に転送できる複数の実施形態に関する移動政策を学ぶことができることを示しています。

要約(オリジナル)

Deep Reinforcement Learning techniques are achieving state-of-the-art results in robust legged locomotion. While there exists a wide variety of legged platforms such as quadruped, humanoids, and hexapods, the field is still missing a single learning framework that can control all these different embodiments easily and effectively and possibly transfer, zero or few-shot, to unseen robot embodiments. We introduce URMA, the Unified Robot Morphology Architecture, to close this gap. Our framework brings the end-to-end Multi-Task Reinforcement Learning approach to the realm of legged robots, enabling the learned policy to control any type of robot morphology. The key idea of our method is to allow the network to learn an abstract locomotion controller that can be seamlessly shared between embodiments thanks to our morphology-agnostic encoders and decoders. This flexible architecture can be seen as a potential first step in building a foundation model for legged robot locomotion. Our experiments show that URMA can learn a locomotion policy on multiple embodiments that can be easily transferred to unseen robot platforms in simulation and the real world.

arxiv情報

著者 Nico Bohlinger,Grzegorz Czechmanowski,Maciej Krupka,Piotr Kicki,Krzysztof Walas,Jan Peters,Davide Tateo
発行日 2025-04-01 15:17:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | One Policy to Run Them All: an End-to-end Learning Approach to Multi-Embodiment Locomotion はコメントを受け付けていません

Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance

投稿日: 2025年4月2日 作成者: jarxiv

要約

最近、不純物や情報メトリックを局所的に最適化する従来のアプローチとは対照的に、最適な決定ツリー（ODT）メソッドに関心が高まっています。
ただし、文献は矛盾する結果を提供し、一部の人は貪欲なアプローチよりもSAMPLEの優れたパフォーマンスを実証するものもあれば、最適な方法の価値はまだ十分に理解されていません。
新しい広範な実験研究を通じて、学習決定ツリーの設計と行動に関する新しい洞察を提供します。
特に、ODTの2つの比較的未開拓の側面を特定して分析します。木のトレーニングで使用される目的関数とチューニングテクニックです。
したがって、これらの3つの質問に対処します。ODTで最適化する目的。
ODTを調整する方法。
そして、最適で貪欲な方法はどのように比較されますか？
実験的評価では、180の実際のデータセットと合成データセットに関する最適および貪欲な方法に関する文献からの11の目的関数、6つの調整方法、および6つの主張を調べます。
概念的および実験的に分析を通じて、貪欲で最適なアプローチにおける（非）凹面目標の効果を示します。
ODTの適切なチューニングの重要性を強調します。
文献からいくつかの主張を支援し、反論します。
貪欲で最適な方法の使用に関する研究者と実践者に明確な推奨事項を提供します。
将来の比較のためのコード。

要約(オリジナル)

Recently there has been a surge of interest in optimal decision tree (ODT) methods that globally optimize accuracy directly, in contrast to traditional approaches that locally optimize an impurity or information metric. However, the value of optimal methods is not well understood yet, as the literature provides conflicting results, with some demonstrating superior out-of-sample performance of ODTs over greedy approaches, while others show the opposite. Through a novel extensive experimental study, we provide new insights into the design and behavior of learning decision trees. In particular, we identify and analyze two relatively unexplored aspects of ODTs: the objective function used in training trees, and tuning techniques. Thus, we address these three questions: what objective to optimize in ODTs; how to tune ODTs; and how do optimal and greedy methods compare? Our experimental evaluation examines 11 objective functions, six tuning methods, and six claims from the literature on optimal and greedy methods on 180 real and synthetic data sets. Through our analysis, both conceptually and experimentally, we show the effect of (non-)concave objectives in greedy and optimal approaches; we highlight the importance of proper tuning of ODTs; support and refute several claims from the literature; provide clear recommendations for researchers and practitioners on the usage of greedy and optimal methods; and code for future comparisons.

arxiv情報

著者 Jacobus G. M. van der Linden,Daniël Vos,Mathijs M. de Weerdt,Sicco Verwer,Emir Demirović
発行日 2025-04-01 15:35:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance はコメントを受け付けていません

FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy

投稿日: 2025年4月2日 作成者: jarxiv

要約

私たちは、プライバシーを摂取する$ k $ -meansクラスタリングの水平方向に連携した設定の問題を研究しています。
安全な計算を使用した既存のフェデレーションアプローチは、かなりのオーバーヘッドに悩まされており、出力プライバシーを提供しません。
同時に、差別的にプライベート（DP）$ K $ -MEANSアルゴリズムは、ローカルDPモデルにノイズを追加することにより、信頼できる中央キュレーターまたは大幅に劣化したユーティリティを想定しています。
安全なDPソリューションと中央のDPソリューションを素朴に組み合わせると、非現実的なオーバーヘッドを備えたプロトコルが得られます。
代わりに、私たちの作業は、DPと安全な計算コンポーネントの両方の強化を提供し、以前の作業よりも速く、よりプライベートで、より正確な設計をもたらします。
計算DPモデルを利用することにより、最先端の関連作業よりも5桁スピードアップを達成する軽量で安全な集約ベースのアプローチを設計します。
さらに、DPの中央モデルで最先端の有用性を維持するだけでなく、新しいDPクラスタリングメカニズムを設計することにより、ユーティリティをさらに改善します。

要約(オリジナル)

We study the problem of privacy-preserving $k$-means clustering in the horizontally federated setting. Existing federated approaches using secure computation suffer from substantial overheads and do not offer output privacy. At the same time, differentially private (DP) $k$-means algorithms either assume a trusted central curator or significantly degrade utility by adding noise in the local DP model. Naively combining the secure and central DP solutions results in a protocol with impractical overhead. Instead, our work provides enhancements to both the DP and secure computation components, resulting in a design that is faster, more private, and more accurate than previous work. By utilizing the computational DP model, we design a lightweight, secure aggregation-based approach that achieves five orders of magnitude speed-up over state-of-the-art related work. Furthermore, we not only maintain the utility of the state-of-the-art in the central model of DP, but we improve the utility further by designing a new DP clustering mechanism.

arxiv情報

著者 Abdulrahman Diaa,Thomas Humphries,Florian Kerschbaum
発行日 2025-04-01 15:45:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | FastLloyd: Federated, Accurate, Secure, and Tunable $k$-Means Clustering with Differential Privacy はコメントを受け付けていません