RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

投稿日: 2025年4月8日 作成者: jarxiv

要約

単一ビューの知覚からのさまざまなオブジェクトの堅牢な把握は、器用なロボットの基本です。
以前の作品は、多くの場合、完全に観察可能なオブジェクト、専門家のデモ、または静的な把握ポーズに依存しています。
このペーパーでは、外部の障害に適応的な動きを実行しながら、単一ビューの知覚から幅広い目に見えないオブジェクトのゼロショットの動的な器用な把握を可能にする強化学習ベースのフレームワークを紹介します。
相互作用に関連する局所形状を強調する形状特徴抽出のための手中心のオブジェクト表現を利用し、堅牢性を高めて形状の分散と不確実性を高めます。
限られた観察結果の妨害への効果的な手の適応を可能にするために、最初に特権的なリアルタイムの視覚触覚フィードバックで訓練されたポリシーを蒸留するために模倣学習を利用し、観察のノイズと動的なランダム化によって引き起こされる障害の下での適応運動の学習を徐々に転送するために模倣学習を利用することを提案します。
私たちの実験は、ランダムなポーズで目に見えないオブジェクトを把握する際の強力な一般化を示し、247,786のシミュレートされたオブジェクトで97.0％、512の実際のオブジェクトで94.6％の成功率を達成します。
また、定量的評価と定性的評価の両方を通じて、観察されていないオブジェクトの動きや外力を含むさまざまな妨害に対する方法の堅牢性を示します。
プロジェクトページ：https：//zdchan.github.io/robust_dexgrasp/

要約(オリジナル)

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/

arxiv情報

著者 Hui Zhang,Zijian Wu,Linyi Huang,Sammy Christen,Jie Song
発行日 2025-04-07 17:38:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception はコメントを受け付けていません

Using Physiological Measures, Gaze, and Facial Expressions to Model Human Trust in a Robot Partner

投稿日: 2025年4月8日 作成者: jarxiv

要約

さまざまなドメインでロボットがますます一般的になっているため、人間との相互作用のより大きな流encyさを達成するためのツールを装備することが重要になっています。
さらなる調査のための有望な分野の1つは、人間の信頼にあります。
人間の信頼のリアルタイムで客観的なモデルを使用して、生産性を最大化し、安全性を維持し、故障を緩和できます。
この作業では、生理学的手段、視線、表情を使用して、ロボットパートナーの人間の信頼をモデル化しようとします。
私たちは、専用の信頼データセットを作成するために、対面で人間のロボット監督の相互作用研究を設計した最初の人です。
このデータセットを使用して、機械学習アルゴリズムをトレーニングして、ロボットパートナーへの信頼を最も示す客観的測定を特定し、人間とロボットの相互作用における信頼予測を進めます。
私たちの調査結果は、センサーのモダリティ（血液量パルス、電極活動、皮膚温度、視線）の組み合わせにより、ロボットパートナーの人間の信頼を検出する精度を高めることができることを示しています。
さらに、余分な木、ランダムフォレスト、および決定ツリー分類子は、ロボットパートナーに対する人の信頼を測定する際に一貫してパフォーマンスを示します。
これらの結果は、人間とロボットの間のより効率的な相互作用を促進する可能性のある人間とロボットの相互作用のためのリアルタイムトラストモデルを構築するための基礎を築きます。

要約(オリジナル)

With robots becoming increasingly prevalent in various domains, it has become crucial to equip them with tools to achieve greater fluency in interactions with humans. One of the promising areas for further exploration lies in human trust. A real-time, objective model of human trust could be used to maximize productivity, preserve safety, and mitigate failure. In this work, we attempt to use physiological measures, gaze, and facial expressions to model human trust in a robot partner. We are the first to design an in-person, human-robot supervisory interaction study to create a dedicated trust dataset. Using this dataset, we train machine learning algorithms to identify the objective measures that are most indicative of trust in a robot partner, advancing trust prediction in human-robot interactions. Our findings indicate that a combination of sensor modalities (blood volume pulse, electrodermal activity, skin temperature, and gaze) can enhance the accuracy of detecting human trust in a robot partner. Furthermore, the Extra Trees, Random Forest, and Decision Trees classifiers exhibit consistently better performance in measuring the person’s trust in the robot partner. These results lay the groundwork for constructing a real-time trust model for human-robot interaction, which could foster more efficient interactions between humans and robots.

arxiv情報

著者 Haley N. Green,Tariq Iqbal
発行日 2025-04-07 17:45:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Using Physiological Measures, Gaze, and Facial Expressions to Model Human Trust in a Robot Partner はコメントを受け付けていません

The Transient Cost of Learning in Queueing Systems

投稿日: 2025年4月8日 作成者: jarxiv

要約

キューイングシステムは、通信ネットワーク、ヘルスケア、サービスシステムなどのユースケースを備えた広く適用可能な確率モデルです。最適な制御は広く研究されていますが、ほとんどの既存のアプローチはシステムパラメーターの完全な知識を想定しています。
この仮定は、パラメーターの不確実性がある実際にはめったに保持されないため、キューイングシステムのBandit Learningに関する最近の作業ラインが動機付けられています。
この初期の研究の流れは、提案されたアルゴリズムの漸近パフォーマンスに焦点を当てていますが、学習プロセスの初期段階での一時的なパフォーマンスに関する洞察を提供しません。
この論文では、パラメーターの不確実性によって引き起こされる時間平均キュー長の最大増加を定量化する新しいメトリックであるキューイング（TCLQ）の一時的な学習コストを提案します。
シングルキューマルチサーバーシステムのTCLQを特徴付けてから、これらの結果をマルチキューマルチサーバーシステムとキューのネットワークに拡張します。
結果を確立する際に、LyapunovとBandit分析を橋渡しし、幅広いアルゴリズムの保証を提供し、独立した関心がある可能性があるTCLQの統一分析フレームワークを提案します。

要約(オリジナル)

Queueing systems are widely applicable stochastic models with use cases in communication networks, healthcare, service systems, etc. Although their optimal control has been extensively studied, most existing approaches assume perfect knowledge of the system parameters. This assumption rarely holds in practice where there is parameter uncertainty, thus motivating a recent line of work on bandit learning for queueing systems. This nascent stream of research focuses on the asymptotic performance of the proposed algorithms but does not provide insight on the transient performance in the early stages of the learning process. In this paper, we propose the Transient Cost of Learning in Queueing (TCLQ), a new metric that quantifies the maximum increase in time-averaged queue length caused by parameter uncertainty. We characterize the TCLQ of a single-queue multi-server system, and then extend these results to multi-queue multi-server systems and networks of queues. In establishing our results, we propose a unified analysis framework for TCLQ that bridges Lyapunov and bandit analysis, provides guarantees for a wide range of algorithms, and could be of independent interest.

arxiv情報

著者 Daniel Freund,Thodoris Lykouris,Wentao Weng
発行日 2025-04-07 14:22:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG, cs.PF, math.PR | The Transient Cost of Learning in Queueing Systems はコメントを受け付けていません

Controlled Latent Diffusion Models for 3D Porous Media Reconstruction

投稿日: 2025年4月8日 作成者: jarxiv

要約

多孔質媒体の3次元デジタル再構築は、地球科学の根本的な課題を提示し、代表的な基本量をキャプチャしながら、微細スケールの細孔構造の同時解像度を必要とします。
EDMフレームワーク内で動作する潜在的な拡散モデルを通じて、この課題に対処する計算フレームワークを紹介します。
私たちのアプローチは、バイナリ地質学的ボリュームでトレーニングされたカスタムバリエーションオートエンコーダーを介して次元を減らし、効率を改善し、拡散モデルで以前よりも可能なよりも大きなボリュームの生成を可能にします。
重要な革新は、制御された無条件のサンプリング方法論であり、経験的分布から最初のターゲット統計をサンプリングし、次にこれらの値を条件付けたサンプルを生成することにより、分布カバレッジを強化します。
4つの異なる岩型の広範なテストは、透過性、2点相関関数、細孔サイズの分布を含む複数の複雑な特性の一貫した表現を確保するのに十分であることを示しています。
このフレームワークは、ピクセルスペースの拡散よりも優れた世代の品質を実現し、大幅に大きなボリューム再構成（256キューブボクセル）を実質的に削減し、デジタルロック物理学アプリケーション向けの新しい最先端を確立します。

要約(オリジナル)

Three-dimensional digital reconstruction of porous media presents a fundamental challenge in geoscience, requiring simultaneous resolution of fine-scale pore structures while capturing representative elementary volumes. We introduce a computational framework that addresses this challenge through latent diffusion models operating within the EDM framework. Our approach reduces dimensionality via a custom variational autoencoder trained in binary geological volumes, improving efficiency and also enabling the generation of larger volumes than previously possible with diffusion models. A key innovation is our controlled unconditional sampling methodology, which enhances distribution coverage by first sampling target statistics from their empirical distributions, then generating samples conditioned on these values. Extensive testing on four distinct rock types demonstrates that conditioning on porosity – a readily computable statistic – is sufficient to ensure a consistent representation of multiple complex properties, including permeability, two-point correlation functions, and pore size distributions. The framework achieves better generation quality than pixel-space diffusion while enabling significantly larger volume reconstruction (256-cube voxels) with substantially reduced computational requirements, establishing a new state-of-the-art for digital rock physics applications.

arxiv情報

著者 Danilo Naiff,Bernardo P. Schaeffer,Gustavo Pires,Dragan Stojkovic,Thomas Rapstine,Fabio Ramos
発行日 2025-04-07 14:41:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.geo-ph | Controlled Latent Diffusion Models for 3D Porous Media Reconstruction はコメントを受け付けていません

Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning

投稿日: 2025年4月8日 作成者: jarxiv

要約

Federated Learning（FL）により、Edge Devicesはローカルデータを共有せずにモデルを協力して訓練できます。
FLが人気を得るにつれて、クライアントは複数の無関係なFLモデルをトレーニングする必要がある場合がありますが、コミュニケーションの制約により、すべてのモデルを同時にトレーニングする能力が制限されます。
クライアントはFLモデルを順番にトレーニングできますが、日和見的にFLクライアントが異なるモデル（MMFL）と呼ばれるさまざまなモデルを同時にトレーニングすることができますが、全体的なトレーニング時間を短縮できます。
以前の作業では、トレーニングの過程で各モデルへの各クライアントの貢献を最適化しないシンプルなクライアントからモデルへの割り当てを使用しています。
シングルモデルFLでの以前の作業は、インテリジェントなクライアントの選択が収束を大幅に加速できることを示していますが、MMFLへのna \ ‘ive拡張は、サーバーとクライアントの両方で不均一なリソースの制約に違反する可能性があります。
この作業では、任意のクライアントサンプリング方法を使用したMMFLの新しい収束分析を開発し、以前の定評のあるグラデーションベースの方法の強みと制限を理論的に実証します。
この分析に動機付けられて、MMFL-LVRを提案します。MMFL-LVRは、サーバーの通信制限を明示的に尊重し、クライアントの計算コストを削減しながら、トレーニングの差異を最小限に抑える損失ベースのサンプリング方法です。
これをMMFL-Stalevrに拡張します。これには、効率と安定性が向上するための古い更新と、低オーバーヘッドの展開に適した軽量バリアントであるMMFL-Stalevreが組み込まれています。
実験では、ランダムサンプリングよりも平均精度が最大19.1％向上し、理論的最適（フルクライアント参加）からのギャップは5.4％しかないことが示されています。

要約(オリジナル)

Federated learning (FL) allows edge devices to collaboratively train models without sharing local data. As FL gains popularity, clients may need to train multiple unrelated FL models, but communication constraints limit their ability to train all models simultaneously. While clients could train FL models sequentially, opportunistically having FL clients concurrently train different models — termed multi-model federated learning (MMFL) — can reduce the overall training time. Prior work uses simple client-to-model assignments that do not optimize the contribution of each client to each model over the course of its training. Prior work on single-model FL shows that intelligent client selection can greatly accelerate convergence, but na\’ive extensions to MMFL can violate heterogeneous resource constraints at both the server and the clients. In this work, we develop a novel convergence analysis of MMFL with arbitrary client sampling methods, theoretically demonstrating the strengths and limitations of previous well-established gradient-based methods. Motivated by this analysis, we propose MMFL-LVR, a loss-based sampling method that minimizes training variance while explicitly respecting communication limits at the server and reducing computational costs at the clients. We extend this to MMFL-StaleVR, which incorporates stale updates for improved efficiency and stability, and MMFL-StaleVRE, a lightweight variant suitable for low-overhead deployment. Experiments show our methods improve average accuracy by up to 19.1% over random sampling, with only a 5.4% gap from the theoretical optimum (full client participation).

arxiv情報

著者 Haoran Zhang,Zejun Gong,Zekai Li,Marie Siew,Carlee Joe-Wong,Rachid El-Azouzi
発行日 2025-04-07 14:43:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG, I.2.11 | Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning はコメントを受け付けていません

Unifying Physics- and Data-Driven Modeling via Novel Causal Spatiotemporal Graph Neural Network for Interpretable Epidemic Forecasting

投稿日: 2025年4月8日 作成者: jarxiv

要約

正確な流行予測は、効果的な疾病管理と予防のために重要です。
従来のコンパートメントモデルは、しばしば一時的および空間的に変化する疫学的パラメーターを推定するのに苦労しますが、ディープラーニングモデルは通常、病気の伝播のダイナミクスを見落とし、疫学的文脈での解釈性を欠いています。
これらの制限に対処するために、Spatio-Contact SIRモデルをグラフニューラルネットワーク（GNNS）と統合して流行の時空間的伝播をキャプチャするハイブリッドフレームワークである、新しい因果空間グラフニューラルネットワーク（CSTGNN）を提案します。
領域間の人間の移動性は、継続的かつ滑らかな時空間パターンを示し、根底にあるモビリティダイナミクスを共有する隣接するグラフ構造につながります。
これらのダイナミクスをモデル化するために、適応的な静的接続グラフを使用して、人間の移動性の安定した成分を表し、時間的ダイナミクスモデルを利用してこれらのパターン内の変動をキャプチャします。
適応型静的接続グラフをThe Tomeal Dynamicsグラフと統合することにより、人間のモビリティネットワークの包括的な特性をカプセル化する動的グラフを構築します。
さらに、時間的傾向と感染症の拡散の変動を捉えるために、時間的依存を処理するための時間的分解モデルを導入します。
このモデルは、流行予測のための動的グラフ畳み込みネットワークと統合されます。
中国の州レベルとドイツの州レベルでの実際のデータセットを使用してモデルを検証します。
広範な研究は、私たちの方法が感染症の時空間的ダイナミクスを効果的にモデル化し、予測と介入戦略のための貴重なツールを提供することを実証しています。
さらに、学習したパラメーターの分析は、病気の伝播メカニズムに関する洞察を提供し、モデルの解釈可能性と実用的な適用性を高めます。

要約(オリジナル)

Accurate epidemic forecasting is crucial for effective disease control and prevention. Traditional compartmental models often struggle to estimate temporally and spatially varying epidemiological parameters, while deep learning models typically overlook disease transmission dynamics and lack interpretability in the epidemiological context. To address these limitations, we propose a novel Causal Spatiotemporal Graph Neural Network (CSTGNN), a hybrid framework that integrates a Spatio-Contact SIR model with Graph Neural Networks (GNNs) to capture the spatiotemporal propagation of epidemics. Inter-regional human mobility exhibits continuous and smooth spatiotemporal patterns, leading to adjacent graph structures that share underlying mobility dynamics. To model these dynamics, we employ an adaptive static connectivity graph to represent the stable components of human mobility and utilize a temporal dynamics model to capture fluctuations within these patterns. By integrating the adaptive static connectivity graph with the temporal dynamics graph, we construct a dynamic graph that encapsulates the comprehensive properties of human mobility networks. Additionally, to capture temporal trends and variations in infectious disease spread, we introduce a temporal decomposition model to handle temporal dependence. This model is then integrated with a dynamic graph convolutional network for epidemic forecasting. We validate our model using real-world datasets at the provincial level in China and the state level in Germany. Extensive studies demonstrate that our method effectively models the spatiotemporal dynamics of infectious diseases, providing a valuable tool for forecasting and intervention strategies. Furthermore, analysis of the learned parameters offers insights into disease transmission mechanisms, enhancing the interpretability and practical applicability of our model.

arxiv情報

著者 Shuai Han,Lukas Stelz,Thomas R. Sokolowski,Kai Zhou,Horst Stöcker
発行日 2025-04-07 14:46:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T07, 92D30, cs.LG, I.2.6, physics.soc-ph, q-bio.QM, stat.ML | Unifying Physics- and Data-Driven Modeling via Novel Causal Spatiotemporal Graph Neural Network for Interpretable Epidemic Forecasting はコメントを受け付けていません

Online Cluster-Based Parameter Control for Metaheuristic

投稿日: 2025年4月8日 作成者: jarxiv

要約

パラメーターの設定の概念は、成績に主に影響を与える可能性があるため、メタヒューリスティックにおける重要かつ重要なプロセスです。
最適化アルゴリズムと手元の最適化の問題を深く理解する必要があるため、非常に複雑で挑戦的な手順です。
近年、今後の自律決定システムの台頭は、かなりの数のパラメーター調整方法を利用して、この方向に継続的な科学的関心を集めています。
方法には、オフラインとオンラインの2つのタイプがあります。
通常、オンラインメソッドは、アルゴリズムの実行中に動的なパラメーター制御を提供できるため、複雑な現実世界の問題に優れています。
現在の研究は、人口ベースのメタヒューリスティックのためのクラスターベースのパラメーター適応（CPA）と呼ばれる汎用オンラインパラメーター調整法を提案しています。
主なアイデアは、パラメーター検索スペース内の有望な領域の識別と、これらの領域の周りの新しいパラメーターの生成にあります。
この方法の妥当性は、微分進化アルゴリズムを使用して実証されており、低次元および高次元の問題の確立されたテストスイートで検証されています。
得られた結果は統計的に分析され、高度な自動調整アプローチを含む最先端のアルゴリズムと比較されます。
この分析は、有望なCPAのパフォーマンスと、さまざまなベンチマークの問題と寸法の下での堅牢性を明らかにしています。

要約(オリジナル)

The concept of parameter setting is a crucial and significant process in metaheuristics since it can majorly impact their performance. It is a highly complex and challenging procedure since it requires a deep understanding of the optimization algorithm and the optimization problem at hand. In recent years, the upcoming rise of autonomous decision systems has attracted ongoing scientific interest in this direction, utilizing a considerable number of parameter-tuning methods. There are two types of methods: offline and online. Online methods usually excel in complex real-world problems, as they can offer dynamic parameter control throughout the execution of the algorithm. The present work proposes a general-purpose online parameter-tuning method called Cluster-Based Parameter Adaptation (CPA) for population-based metaheuristics. The main idea lies in the identification of promising areas within the parameter search space and in the generation of new parameters around these areas. The method’s validity has been demonstrated using the differential evolution algorithm and verified in established test suites of low- and high-dimensional problems. The obtained results are statistically analyzed and compared with state-of-the-art algorithms, including advanced auto-tuning approaches. The analysis reveals the promising solid CPA’s performance as well as its robustness under a variety of benchmark problems and dimensions.

arxiv情報

著者 Vasileios A. Tatsis,Dimos Ioannidis
発行日 2025-04-07 14:48:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Online Cluster-Based Parameter Control for Metaheuristic はコメントを受け付けていません

Pr$εε$mpt: Sanitizing Sensitive Prompts for LLMs

投稿日: 2025年4月8日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の台頭により、特にプロンプ​​トの機密情報が独自のLLM APIにさらされる可能性のある推論中に、新しいプライバシーの課題が導入されました。
この論文では、応答品質を維持しながら、プロンプトに含まれる機密情報を正式に保護する問題に対処します。
この目的のために、最初に、敏感なトークンを保護するために入力プロンプトを変換するプロンプト消毒剤の暗号化に触発された概念を紹介します。
第二に、迅速な消毒剤を実装する新しいシステムであるpr $ \ epsilon \ epsilon $ mptを提案します。
pr $ \ epsilon \ epsilon $ mptは、敏感なトークンを2つのタイプに分類します。（1）LLMの応答は、形式（SSNS、クレジットカード番号など）のみに依存します。
（2）応答が特定の値（年齢、給与など）に依存している場合が、メトリックの差動プライバシー（MDP）を適用します。
私たちの評価は、pr $ \ epsilon \ epsilon $ mptが意味のあるプライバシー保証を達成するための実用的な方法でありながら、非劣化プロンプトと比較して高いユーティリティを維持し、以前の方法を上回る実用的な方法であることを示しています。

要約(オリジナル)

The rise of large language models (LLMs) has introduced new privacy challenges, particularly during inference where sensitive information in prompts may be exposed to proprietary LLM APIs. In this paper, we address the problem of formally protecting the sensitive information contained in a prompt while maintaining response quality. To this end, first, we introduce a cryptographically inspired notion of a prompt sanitizer which transforms an input prompt to protect its sensitive tokens. Second, we propose Pr$\epsilon\epsilon$mpt, a novel system that implements a prompt sanitizer. Pr$\epsilon\epsilon$mpt categorizes sensitive tokens into two types: (1) those where the LLM’s response depends solely on the format (such as SSNs, credit card numbers), for which we use format-preserving encryption (FPE); and (2) those where the response depends on specific values, (such as age, salary) for which we apply metric differential privacy (mDP). Our evaluation demonstrates that Pr$\epsilon\epsilon$mpt is a practical method to achieve meaningful privacy guarantees, while maintaining high utility compared to unsanitized prompts, and outperforming prior methods

arxiv情報

著者 Amrita Roy Chowdhury,David Glukhov,Divyam Anshumaan,Prasad Chalasani,Nicolas Papernot,Somesh Jha,Mihir Bellare
発行日 2025-04-07 14:52:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Pr$εε$mpt: Sanitizing Sensitive Prompts for LLMs はコメントを受け付けていません

SparsyFed: Sparse Adaptive Federated Training

投稿日: 2025年4月8日 作成者: jarxiv

要約

クロスデバイスフェデレートラーニング（FL）環境では、疎なトレーニングが採用されることがよくあります。この環境では、制約されたデバイスが、異種ネットワーク全体で擬似勾配を交換することにより、プライベートデータの機械学習モデルを協力してトレーニングします。
まばらなトレーニング方法は、フロリダ州の通信と計算の負担を軽減することができますが、以下の主な理由で実際には使用されないことがよくあります。（1）データの不均一性により、クライアントが密集したモデルと比較してスパースモデルのコンセンサスに達することが難しくなり、より長いトレーニングが必要です。
（2）スパースマスクを取得する方法は、非常に不均一なデータ分布に対応するための適応性を欠いており、クロスデバイスFLで重要です。
（3）追加のハイパーパラメーターが必要です。これは、FLで調整するのが特に困難です。
このペーパーでは、上記の問題に批判的に対処する実用的なフェデレーションスパーストレーニング方法であるSparsyfedを紹介します。
以前の作品は、マスクとスパースパターンの適応性に関するクライアントのコンセンサスなど、新しいトレードオフを導入することを犠牲にして、これらの課題の1つまたは2つのみを解決してきました。
Sparsyfedは同時に（1）95％のスパースモデルを生成し、精度は無視できる分解で、単一のハイパーパラメーターのみが必要であることを示しています。

要約(オリジナル)

Sparse training is often adopted in cross-device federated learning (FL) environments where constrained devices collaboratively train a machine learning model on private data by exchanging pseudo-gradients across heterogeneous networks. Although sparse training methods can reduce communication overhead and computational burden in FL, they are often not used in practice for the following key reasons: (1) data heterogeneity makes it harder for clients to reach consensus on sparse models compared to dense ones, requiring longer training; (2) methods for obtaining sparse masks lack adaptivity to accommodate very heterogeneous data distributions, crucial in cross-device FL; and (3) additional hyperparameters are required, which are notably challenging to tune in FL. This paper presents SparsyFed, a practical federated sparse training method that critically addresses the problems above. Previous works have only solved one or two of these challenges at the expense of introducing new trade-offs, such as clients’ consensus on masks versus sparsity pattern adaptivity. We show that SparsyFed simultaneously (1) can produce 95% sparse models, with negligible degradation in accuracy, while only needing a single hyperparameter, (2) achieves a per-round weight regrowth 200 times smaller than previous methods, and (3) allows the sparse masks to adapt to highly heterogeneous data distributions and outperform all baselines under such conditions.

arxiv情報

著者 Adriano Guastella,Lorenzo Sani,Alex Iacob,Alessio Mora,Paolo Bellavista,Nicholas D. Lane
発行日 2025-04-07 14:57:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SparsyFed: Sparse Adaptive Federated Training はコメントを受け付けていません

DDPM Score Matching and Distribution Learning

投稿日: 2025年4月8日 作成者: jarxiv

要約

スコアの推定は、スコアベースの生成モデル（SGM）のバックボーン、特に拡散確率モデル（DDPMS）を除去します。
この領域の重要な結果は、正確なスコア推定で、SGMが現実的なデータ分布からサンプルを効率的に生成できることを示しています（Chen et al。、Iclr’23; Lee et al。、alt’23）。
学習された分布がサンプラーの出力の分布と暗黙的にある場合、この分布学習結果は、スコアの推定がパラメーターと密度の推定の古典的なタスクにどのように関連するかを説明していません。
このペーパーでは、これら2つのタスクのスコア推定を減らすフレームワークを紹介し、統計学習および計算学習理論にさまざまな意味を持ちます。パラメーター推定：Koehler et al。
（ICLR’23）スコアマッチングバリアントは、実際に一般的なマルチモーダル密度のパラメトリック推定に対して統計的に非効率的であることを示しています。
対照的に、穏やかな条件下では、DDPMSでのスコアマッチングの形成が漸近的に効率的であることを示しています。
密度の推定：生成をリンクするためにスコア推定をリンクすることにより、既存のスコア推定保証を$（\ epsilon、\ delta）$ – PAC密度推定、つまり、$ \ delta $ ractionを除くすべての$ \ epsilon $内のターゲットログ密度を近似する関数に$（\ epsilon、\ delta）$に持ち上げます。
（i）h \ ‘古いクラスにわたる密度推定のミニマックスレート、および（ii）古典的なガウス位置混合モデルの準正式PAC密度推定アルゴリズムを提供し、Gatmiry et al。
（arxiv’24）。
スコア推定の下限：私たちのフレームワークは、一般的な分布全体でスコア推定の計算下限を証明するための最初の原則的な方法を提供します。
アプリケーションとして、一般的なガウス混合モデルでスコア推定の暗号化の下限を確立し、概念的に曲（neurips’24）の結果を回復し、彼の重要なオープンな問題を促進します。

要約(オリジナル)

Score estimation is the backbone of score-based generative models (SGMs), especially denoising diffusion probabilistic models (DDPMs). A key result in this area shows that with accurate score estimates, SGMs can efficiently generate samples from any realistic data distribution (Chen et al., ICLR’23; Lee et al., ALT’23). This distribution learning result, where the learned distribution is implicitly that of the sampler’s output, does not explain how score estimation relates to classical tasks of parameter and density estimation. This paper introduces a framework that reduces score estimation to these two tasks, with various implications for statistical and computational learning theory: Parameter Estimation: Koehler et al. (ICLR’23) demonstrate that a score-matching variant is statistically inefficient for the parametric estimation of multimodal densities common in practice. In contrast, we show that under mild conditions, denoising score-matching in DDPMs is asymptotically efficient. Density Estimation: By linking generation to score estimation, we lift existing score estimation guarantees to $(\epsilon,\delta)$-PAC density estimation, i.e., a function approximating the target log-density within $\epsilon$ on all but a $\delta$-fraction of the space. We provide (i) minimax rates for density estimation over H\’older classes and (ii) a quasi-polynomial PAC density estimation algorithm for the classical Gaussian location mixture model, building on and addressing an open problem from Gatmiry et al. (arXiv’24). Lower Bounds for Score Estimation: Our framework offers the first principled method to prove computational lower bounds for score estimation across general distributions. As an application, we establish cryptographic lower bounds for score estimation in general Gaussian mixture models, conceptually recovering Song’s (NeurIPS’24) result and advancing his key open problem.

arxiv情報

著者 Sinho Chewi,Alkis Kalavasis,Anay Mehrotra,Omar Montasser
発行日 2025-04-07 15:07:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG, math.ST, stat.ML, stat.TH | DDPM Score Matching and Distribution Learning はコメントを受け付けていません