Homophily Enhanced Graph Domain Adaptation

投稿日: 2025年5月28日 作成者: jarxiv

要約

グラフドメインの適応（GDA）は、ラベルのあるソースグラフからラベルの希少性の課題に対処するラベルのあるソースグラフから非標識ターゲットグラフに転送します。
この論文では、グラフドメインアライメントの極めて重要な要因であるグラフ同性愛の重要性を強調していますが、既存のアプローチでは長い間見落とされてきました。
具体的には、私たちの分析では、最初に同性愛の矛盾がベンチマークに存在することが明らかになりました。
さらに、同性愛の矛盾がGDAのパフォーマンスを経験的側面と理論的側面の両方から分解し、GDAにおける同性愛の整合の重要性をさらに強調することを示しています。
この発見に触発されて、私たちは、グラフ信号を滑らかにするために混合フィルターを使用して、グラフ間の同性愛の矛盾を効果的にキャプチャして軽減する新しい同性愛アライメントアルゴリズムを提案します。
さまざまなベンチマークでの実験結果は、当社の方法の有効性を検証します。

要約(オリジナル)

Graph Domain Adaptation (GDA) transfers knowledge from labeled source graphs to unlabeled target graphs, addressing the challenge of label scarcity. In this paper, we highlight the significance of graph homophily, a pivotal factor for graph domain alignment, which, however, has long been overlooked in existing approaches. Specifically, our analysis first reveals that homophily discrepancies exist in benchmarks. Moreover, we also show that homophily discrepancies degrade GDA performance from both empirical and theoretical aspects, which further underscores the importance of homophily alignment in GDA. Inspired by this finding, we propose a novel homophily alignment algorithm that employs mixed filters to smooth graph signals, thereby effectively capturing and mitigating homophily discrepancies between graphs. Experimental results on a variety of benchmarks verify the effectiveness of our method.

arxiv情報

著者 Ruiyi Fang,Bingheng Li,Jingyu Zhao,Ruizhi Pu,Qiuhao Zeng,Gezheng Xu,Charles Ling,Boyu Wang
発行日 2025-05-27 05:03:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SI | Homophily Enhanced Graph Domain Adaptation はコメントを受け付けていません

NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation

投稿日: 2025年5月28日 作成者: jarxiv

要約

強化学習（RL）の最近の進歩により、視覚言語モデル（VLM）の推論能力が強化されました。
ただし、より良いスケールテスト時間計算にポリシー探索を強化することは、ほとんど露出度が低いままです。
さらに、VLMは不完全な視覚的知覚に苦労し続け、その後の推論プロセスに影響を与えます。
この目的のために、RLトレーニング中にクリーンな画像と適度に歪んだ画像の両方からの軌跡を混合するシンプルで効果的なデータ増強方法であるNoisyrolloutを提案します。
視覚的知覚と結果として生じる推論パターンにターゲットを絞った多様性を注入することにより、ノイズロルアウトは視覚志向の帰納的バイアスを通じてより良い政策探査を促進し、最終的にはより堅牢な推論行動につながります。
さらに、トレーニングよりも歪みの強度を徐々に減らすノイズアニーリングスケジュールを採用し、後の段階でトレーニングの安定性を確保しながら、ノイズの多い信号を早期に活用します。
重要なことに、私たちの方法は簡単に採用できます。追加のトレーニングコストやRL目標の変更を要求しません。
$ 2の異なるトレーニングデータセットに関する広範な実験は、Noisyrolloutが5ドルのドメインの推論と認識ベンチマークにまたがるオープンソースRLチューニングモデル間で最先端のパフォーマンスを達成することを示しています。
さらに、モデルサイズ（$ 7 $ bおよび$ 32 $ b）とデータスケール（$ 1 $ kから$ 6 $ k）にわたるノイロールアウトの有効性を検証し、その一般化とスケーラビリティを強調します。

要約(オリジナル)

Recent advances in reinforcement learning (RL) have strengthened the reasoning capabilities of vision-language models (VLMs). However, enhancing policy exploration to better scale test-time compute remains largely underexplored. In addition, VLMs continue to struggle with imperfect visual perception, which in turn affects the subsequent reasoning process. To this end, we propose NoisyRollout, a simple yet effective data augmentation method that mixes trajectories from both clean and moderately distorted images during RL training. By injecting targeted diversity in visual perception and the resulting reasoning patterns, NoisyRollout promotes better policy exploration through vision-oriented inductive biases, ultimately leading to more robust reasoning behaviors. We further adopt a noise annealing schedule that gradually reduces distortion strength over training, leveraging noisy signals early on while ensuring training stability in later stages. Crucially, our method is easy-to-adopt–requiring no additional training cost and no modifications to the RL objective. Extensive experiments on $2$ distinct training datasets demonstrate that NoisyRollout achieves state-of-the-art performance among open-source RL-tuned models across $5$ out-of-domain reasoning and perception benchmarks. Furthermore, we validate the effectiveness of NoisyRollout across model sizes ($7$B and $32$B) and data scales (from $1$K to $6$K), highlighting its generalizability and scalability.

arxiv情報

著者 Xiangyan Liu,Jinjie Ni,Zijian Wu,Chao Du,Longxu Dou,Haonan Wang,Tianyu Pang,Michael Qizhe Shieh
発行日 2025-05-27 02:15:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation はコメントを受け付けていません

MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research

投稿日: 2025年5月27日 作成者: jarxiv

要約

AIエージェントの最近の進歩は、科学的発見を推進し支援する彼らの可能性の高まりを示しています。
この作業では、自由回答形式の機械学習研究でAIエージェントを評価するための包括的なベンチマークであるMLRベンチを紹介します。
MLRベンチには、3つの主要なコンポーネントが含まれています。（1）ニューリップ、ICLR、およびICMLワークショップから供給された201の研究タスクは、多様なMLトピックを対象としています。
（2）MLR-Judge、LLMベースのレビュアーと慎重に設計されたレビュールーブリックを組み合わせて、研究の質を評価する自動評価フレームワーク。
（3）MLR-Agent、4つの段階で研究タスクを完了できるモジュラーエージェント足場、アイデア生成、提案の定式化、実験、紙の執筆。
私たちのフレームワークは、これらの異なる研究段階での段階的評価と、最終的な研究論文のエンドツーエンドの評価の両方をサポートしています。
次に、MLRベンチを使用して、6つのフロンティアLLMと高度なコーディングエージェントを評価し、LLMはコヒーレントなアイデアと適切に構造化された論文を生成するのに効果的であるが、現在のコーディングエージェントは頻繁に（例えば、ケースの80％で）、科学的な対立性に主要な障壁を配置する実験結果を生成または不変の実験結果を生成することを発見しました。
人間の評価を通じてMLRジュッジを検証し、専門家のレビュアーとの高い合意を示し、研究評価のためのスケーラブルなツールとしての可能性をサポートします。
MLRベンチをオープンソースで、コミュニティのベンチマークを支援し、診断し、改善し、AIの研究エージェントを信頼できる透明な科学的発見に向けて改善します。

要約(オリジナル)

Recent advancements in AI agents have demonstrated their growing potential to drive and support scientific discovery. In this work, we introduce MLR-Bench, a comprehensive benchmark for evaluating AI agents on open-ended machine learning research. MLR-Bench includes three key components: (1) 201 research tasks sourced from NeurIPS, ICLR, and ICML workshops covering diverse ML topics; (2) MLR-Judge, an automated evaluation framework combining LLM-based reviewers with carefully designed review rubrics to assess research quality; and (3) MLR-Agent, a modular agent scaffold capable of completing research tasks through four stages: idea generation, proposal formulation, experimentation, and paper writing. Our framework supports both stepwise assessment across these distinct research stages, and end-to-end evaluation of the final research paper. We then use MLR-Bench to evaluate six frontier LLMs and an advanced coding agent, finding that while LLMs are effective at generating coherent ideas and well-structured papers, current coding agents frequently (e.g., in 80% of the cases) produce fabricated or invalidated experimental results–posing a major barrier to scientific reliability. We validate MLR-Judge through human evaluation, showing high agreement with expert reviewers, supporting its potential as a scalable tool for research evaluation. We open-source MLR-Bench to help the community benchmark, diagnose, and improve AI research agents toward trustworthy and transparent scientific discovery.

arxiv情報

著者 Hui Chen,Miao Xiong,Yujie Lu,Wei Han,Ailin Deng,Yufei He,Jiaying Wu,Yibo Li,Yue Liu,Bryan Hooi
発行日 2025-05-26 13:18:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research はコメントを受け付けていません

DCG-SQL: Enhancing In-Context Learning for Text-to-SQL with Deep Contextual Schema Link Graph

投稿日: 2025年5月27日 作成者: jarxiv

要約

自然言語の質問をSQLクエリに変換するText-to-SQLは、大規模な言語モデル（LLM）のコンテキスト学習で進歩しました。
ただし、既存の方法では、ランダムに選択されたデモンストレーションと比較してパフォーマンスの改善はほとんどありません。また、LLMS（例：LLAMA 3.1-8B）が使用されると、大幅なパフォーマンスが低下します。
これは、これらの方法が、有用なデモンストレーションを効果的に取得するのではなく、ハイパースケールLLMの本質的な機能に大きく依存していることを示しています。
この論文では、デモンストレーションを効果的に取得し、SQLクエリを生成するための新しいアプローチを提案します。
質問とそのデータベーススキーマ項目の間に重要な情報と意味関係を含む、深いコンテキストスキーマリンクグラフを構築します。
このグラフベースの構造により、テキスト間サンプルを効果的に表現し、コンテキスト学習のための有用なデモンストレーションの取得を可能にします。
クモのベンチマークでの実験結果は、当社のアプローチの有効性を示しており、ハイパースケールLLMと小型LLMの両方でSQL生成のパフォーマンスと効率の一貫した改善を示しています。
私たちのコードはリリースされます。

要約(オリジナル)

Text-to-SQL, which translates a natural language question into an SQL query, has advanced with in-context learning of Large Language Models (LLMs). However, existing methods show little improvement in performance compared to randomly chosen demonstrations, and significant performance drops when smaller LLMs (e.g., Llama 3.1-8B) are used. This indicates that these methods heavily rely on the intrinsic capabilities of hyper-scaled LLMs, rather than effectively retrieving useful demonstrations. In this paper, we propose a novel approach for effectively retrieving demonstrations and generating SQL queries. We construct a Deep Contextual Schema Link Graph, which contains key information and semantic relationship between a question and its database schema items. This graph-based structure enables effective representation of Text-to-SQL samples and retrieval of useful demonstrations for in-context learning. Experimental results on the Spider benchmark demonstrate the effectiveness of our approach, showing consistent improvements in SQL generation performance and efficiency across both hyper-scaled LLMs and small LLMs. Our code will be released.

arxiv情報

著者 Jihyung Lee,Jin-Seop Lee,Jaehoon Lee,YunSeok Choi,Jee-Hyong Lee
発行日 2025-05-26 13:19:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | DCG-SQL: Enhancing In-Context Learning for Text-to-SQL with Deep Contextual Schema Link Graph はコメントを受け付けていません

RapidPoseTriangulation: Multi-view Multi-person Whole-body Human Pose Triangulation in a Millisecond

投稿日: 2025年5月27日 作成者: jarxiv

要約

マルチビューイメージングとポーズ推定の統合は、コンピュータービジョンアプリケーションの大きな進歩を表し、人間の動きと相互作用を理解するための新しい可能性を提供します。
この作業は、速い三角速度と優れた一般化機能に焦点を当てたマルチビューマルチパーソンポーズ推定を改善する新しいアルゴリズムを提示します。
このアプローチは、全身のポーズ推定にまで及び、顔の表情から複数の個人や視点にわたる指の動きまで詳細を捉えています。
異なる設定への適応性は、目に見えないデータセットと構成全体の強力なパフォーマンスを通じて実証されています。
この分野でのさらなる進捗をサポートするために、この作業はすべて公開されています。

要約(オリジナル)

The integration of multi-view imaging and pose estimation represents a significant advance in computer vision applications, offering new possibilities for understanding human movement and interactions. This work presents a new algorithm that improves multi-view multi-person pose estimation, focusing on fast triangulation speeds and good generalization capabilities. The approach extends to whole-body pose estimation, capturing details from facial expressions to finger movements across multiple individuals and viewpoints. Adaptability to different settings is demonstrated through strong performance across unseen datasets and configurations. To support further progress in this field, all of this work is publicly accessible.

arxiv情報

著者 Daniel Bermuth,Alexander Poeppel,Wolfgang Reif
発行日 2025-05-26 13:10:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | RapidPoseTriangulation: Multi-view Multi-person Whole-body Human Pose Triangulation in a Millisecond はコメントを受け付けていません

Robust Immersive Bilateral Teleoperation of Beyond-Human-Scale Systems with Enhanced Transparency and Sense of Embodiment

投稿日: 2025年5月27日 作成者: jarxiv

要約

テレオ操作、特に頑丈なマニピュレーターを含む人間のループシステムでは、高いタスクパフォ​​ーマンスを達成するには、堅牢な制御と強力な人間の関与の両方が必要です。
この論文では、透明性とオペレーターの具体的な感覚（SOE）、特にエージェンシーとセルフロケーションの感覚を強化する人間スケールを超えたロボットシステムのための二国間テレオ操作のフレームワークを紹介します。
この実施形態をサポートし、高レベルの運動と力の透明性を確立するために、入力の非線形性、マスタースロゲートの非対称性、不明確な不確実性、および任意の時間遅延に取り組む力センサーレスで堅牢な制御アーキテクチャを開発します。
ヒトロボット拡張動的モデルがコントロールループに統合され、コントローラーのヒト適応性が向上します。
理論分析は、閉ループシステムの半グロールの均一な究極の境界性を確認し、実際の不確実性に対する堅牢性を保証します。
広範な実世界の実験は、最大1:13のモーションスケーリングと1：1000の力スケーリングの下で​​高精度追跡を実証し、結果の重要性を示しています。
さらに、モーショントラッキングと力の反射と追跡のための安定性透明性のトレードオフは、最大150ミリ秒の一方向の修正と時変コミュニケーションの遅延から確立されます。
10人の参加者（男性9人と女性1人）を使用したユーザー調査の結果は、システムがSOEの良いレベル（76.4％）を暗示できることを示しています。
これらの結果は、頑丈なマニピュレーターのスケールと重量を考えると重要です。

要約(オリジナル)

In human-in-the-loop systems such as teleoperation, especially those involving heavy-duty manipulators, achieving high task performance requires both robust control and strong human engagement. This paper presents a bilateral teleoperation framework for beyond-human-scale robotic systems that enhances the transparency and the operator’s sense of embodiment (SoE), specifically, the senses of agency and self-location, through an immersive virtual reality interface and distributed haptic feedback. To support this embodiment and establish high level of motion and force transparency, we develop a force-sensorless, robust control architecture that tackles input nonlinearities, master-surrogate asymmetries, unknown uncertainties, and arbitrary time delays. A human-robot augmented dynamic model is integrated into the control loop to enhance human-adaptability of the controller. Theoretical analysis confirms semi-global uniform ultimate boundedness of the closed-loop system, guaranteeing the robustness to the real-world uncertainties. Extensive real-world experiments demonstrate high accuracy tracking under up to 1:13 motion scaling and 1:1000 force scaling, showcasing the significance of the results. Additionally, the stability-transparency tradeoff for motion tracking and force reflection and tracking is established up to 150 ms of one-way fix and time-varying communication delays. The results of user study with 10 participants (9 male and 1 female) demonstrate that the system can imply a good level of SoE (76.4%), at the same time is very user friendly with no gender limitation. These results are significant given the scale and weight of the heavy-duty manipulators.

arxiv情報

著者 Mahdi Hejrati,Pauli Mustalahti,Jouni Mattila
発行日 2025-05-25 16:32:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Robust Immersive Bilateral Teleoperation of Beyond-Human-Scale Systems with Enhanced Transparency and Sense of Embodiment はコメントを受け付けていません

Sensorimotor features of self-awareness in multimodal large language models

投稿日: 2025年5月27日 作成者: jarxiv

要約

自己認識 – 自分自身を周囲の環境と区別する能力 – は、インテリジェントで自律的な行動を支えます。
AIの最近の進歩は、特に大規模な言語モデルでマルチモーダル情報を統合するタスクで人間のようなパフォーマンスを達成し、ロボットなどの人間以外のプラットフォームでAIエージェントの具体化能力に関心を高めています。
ここでは、マルチモーダルLLMが感覚運動体験のみを通じて自己認識を発達させることができるかどうかを調査します。
マルチモーダルLLMを自律的なモバイルロボットに統合することにより、この能力を達成する能力をテストします。
このシステムは、堅牢な環境認識、自己認識、予測的認識を示し、ロボットの性質と運動の特性を推測できることがわかります。
構造方程式モデリングは、感覚統合が自己認識の明確な次元と過去に存在する記憶との調整にどのように影響するか、および自己識別を促進する階層的な内部関連付けにどのように影響するかを明らかにします。
感覚入力のアブレーションテストは、各次元の重要なモダリティを特定し、センサー間の代償相互作用を示し、コヒーレント推論における構造化されたエピソード記憶の本質的な役割を確認します。
これらの発見は、世界とそれ自体に関する適切な感覚情報を考えると、マルチモーダルLLMが緊急の自己認識を示し、人工具体化された認知システムへの扉を開くことを示しています。

要約(オリジナル)

Self-awareness – the ability to distinguish oneself from the surrounding environment – underpins intelligent, autonomous behavior. Recent advances in AI achieve human-like performance in tasks integrating multimodal information, particularly in large language models, raising interest in the embodiment capabilities of AI agents on nonhuman platforms such as robots. Here, we explore whether multimodal LLMs can develop self-awareness solely through sensorimotor experiences. By integrating a multimodal LLM into an autonomous mobile robot, we test its ability to achieve this capacity. We find that the system exhibits robust environmental awareness, self-recognition and predictive awareness, allowing it to infer its robotic nature and motion characteristics. Structural equation modeling reveals how sensory integration influences distinct dimensions of self-awareness and its coordination with past-present memory, as well as the hierarchical internal associations that drive self-identification. Ablation tests of sensory inputs identify critical modalities for each dimension, demonstrate compensatory interactions among sensors and confirm the essential role of structured and episodic memory in coherent reasoning. These findings demonstrate that, given appropriate sensory information about the world and itself, multimodal LLMs exhibit emergent self-awareness, opening the door to artificial embodied cognitive systems.

arxiv情報

著者 Iñaki Dellibarda Varela,Pablo Romero-Sorozabal,Diego Torricelli,Gabriel Delgado-Oleas,Jose Ignacio Serrano,Maria Dolores del Castillo Sobrino,Eduardo Rocon,Manuel Cebrian
発行日 2025-05-25 17:26:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Sensorimotor features of self-awareness in multimodal large language models はコメントを受け付けていません

Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees

投稿日: 2025年5月27日 作成者: jarxiv

要約

制約された意思決定は、現実世界の制御システムで安全なポリシーを設計するために不可欠ですが、シミュレートされた環境は多くの場合、実際の逆境を捉えることができません。
実際のモデルとアクセス可能なシミュレーター/名目モデルの間に不一致がある場合でも、制約を満たしながら累積報酬を最大化するポリシーを学習する問題を検討します。
特に、エージェントが報酬を最大化し、未知の名目モデルを中心とする不確実性セットの下で最悪の確率モデルに対する制約を満たす必要がある堅牢な制約されたマルコフ決定問題（RCMDP）を検討します。
標準的な制約付きMDP（CMDP）に有効な原始的な方法は、強力な二重性特性がないため、ここでは適用されません。
さらに、最悪のケースモデルは報酬値関数と制約値関数の場合に異なる可能性があるため、標準の堅牢な値ベースのアプローチを複合値関数に適用することはできません。
制約値を効果的に最小化する新しい手法を提案します。これは、制約を満たすためです。
一方、すべての制約が満たされると、堅牢な報酬値関数を最大化するだけです。
このようなアルゴリズムは、$ o（\ epsilon^{-2}）$ iterationsの後に最大$ \ epsilon $ sub-optimalityと実行可能なポリシーを含むポリシーを見つけることを証明します。
最先端の方法とは対照的に、バイナリ検索を採用する必要はないため、割引係数（$ \ gamma $）の場合は少なくとも4倍、$ \ gamma $のより大きな値で少なくとも6倍に計算時間を短縮します。

要約(オリジナル)

Constrained decision-making is essential for designing safe policies in real-world control systems, yet simulated environments often fail to capture real-world adversities. We consider the problem of learning a policy that will maximize the cumulative reward while satisfying a constraint, even when there is a mismatch between the real model and an accessible simulator/nominal model. In particular, we consider the robust constrained Markov decision problem (RCMDP) where an agent needs to maximize the reward and satisfy the constraint against the worst possible stochastic model under the uncertainty set centered around an unknown nominal model. Primal-dual methods, effective for standard constrained MDP (CMDP), are not applicable here because of the lack of the strong duality property. Further, one cannot apply the standard robust value-iteration based approach on the composite value function either as the worst case models may be different for the reward value function and the constraint value function. We propose a novel technique that effectively minimizes the constraint value function–to satisfy the constraints; on the other hand, when all the constraints are satisfied, it can simply maximize the robust reward value function. We prove that such an algorithm finds a policy with at most $\epsilon$ sub-optimality and feasible policy after $O(\epsilon^{-2})$ iterations. In contrast to the state-of-the-art method, we do not need to employ a binary search, thus, we reduce the computation time by at least 4x for smaller value of discount factor ($\gamma$) and by at least 6x for larger value of $\gamma$.

arxiv情報

著者 Sourav Ganguly,Arnob Ghosh,Kishan Panaganti,Adam Wierman
発行日 2025-05-25 17:27:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO, cs.SY, eess.SY | Efficient Policy Optimization in Robust Constrained MDPs with Iteration Complexity Guarantees はコメントを受け付けていません

Position: Solve Layerwise Linear Models First to Understand Neural Dynamical Phenomena (Neural Collapse, Emergence, Lazy/Rich Regime, and Grokking)

投稿日: 2025年5月27日 作成者: jarxiv

要約

物理学では、複雑なシステムは、コア原理のみを保持する最小限の溶媒産モデルに簡素化されることがよくあります。
機械学習では、レイヤーワイズ線形モデル（例えば、線形ニューラルネットワーク）は、ニューラルネットワークダイナミクスの単純化された表現として機能します。
これらのモデルは、動的フィードバックの原則に従います。これは、レイヤーが互いの進化を相互に支配および増幅する方法を説明しています。
この原則は、単純化されたモデルを超えて拡張され、神経崩壊、出現、怠zyで豊かな体制、グローキングなど、深い神経ネットワークにおける幅広い動的現象の説明に成功します。
このポジションペーパーでは、深い学習の科学を加速するために、神経動的現象の核となる原則を保持する層状線形モデルの使用を求めています。

要約(オリジナル)

In physics, complex systems are often simplified into minimal, solvable models that retain only the core principles. In machine learning, layerwise linear models (e.g., linear neural networks) act as simplified representations of neural network dynamics. These models follow the dynamical feedback principle, which describes how layers mutually govern and amplify each other’s evolution. This principle extends beyond the simplified models, successfully explaining a wide range of dynamical phenomena in deep neural networks, including neural collapse, emergence, lazy and rich regimes, and grokking. In this position paper, we call for the use of layerwise linear models retaining the core principles of neural dynamical phenomena to accelerate the science of deep learning.

arxiv情報

著者 Yoonsoo Nam,Seok Hyeong Lee,Clementine C J Domine,Yeachan Park,Charles London,Wonyl Choi,Niclas Goring,Seungjai Lee
発行日 2025-05-26 13:30:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.data-an, stat.ML | Position: Solve Layerwise Linear Models First to Understand Neural Dynamical Phenomena (Neural Collapse, Emergence, Lazy/Rich Regime, and Grokking) はコメントを受け付けていません

Differential Privacy Analysis of Decentralized Gossip Averaging under Varying Threat Models

投稿日: 2025年5月27日 作成者: jarxiv

要約

機械学習モデルの完全に分散したトレーニングは、スケーラビリティ、堅牢性、断層のトレランスに大きな利点を提供します。
ただし、このような設定でプライバシーの差（DP）を達成することは、中央のアグリゲーターがないこととノード間の信頼の仮定が異なるため、困難です。
この作業では、各ノードの直接隣人に安全な合計の有無にかかわらず、加法ノードレベルのノイズを備えた分散型ゴシップベースの平均アルゴリズムの新しいプライバシー分析を提示します。
私たちの主な貢献は、これらのシナリオ全体のプライバシーの漏れを正確に特徴付ける線形システムの定式化に基づく新しい分析フレームワークです。
このフレームワークは、以前の分析で大幅に改善されます。たとえば、r \ ‘enyi dpパラメーターの成長は$ o（t^2）$から$ o（t）$に減少します。ここで、$ t $はトレーニングラウンドの数です。
既存のアプローチと比較して優れたDP境界を示す数値結果で分析を検証します。
さらに、完全に分散化された設定でのMNIST画像分類に関するロジスティック回帰実験で分析を説明し、中心集計方法に匹敵するユーティリティを実証します。

要約(オリジナル)

Fully decentralized training of machine learning models offers significant advantages in scalability, robustness, and fault tolerance. However, achieving differential privacy (DP) in such settings is challenging due to the absence of a central aggregator and varying trust assumptions among nodes. In this work, we present a novel privacy analysis of decentralized gossip-based averaging algorithms with additive node-level noise, both with and without secure summation over each node’s direct neighbors. Our main contribution is a new analytical framework based on a linear systems formulation that accurately characterizes privacy leakage across these scenarios. This framework significantly improves upon prior analyses, for example, reducing the R\’enyi DP parameter growth from $O(T^2)$ to $O(T)$, where $T$ is the number of training rounds. We validate our analysis with numerical results demonstrating superior DP bounds compared to existing approaches. We further illustrate our analysis with a logistic regression experiment on MNIST image classification in a fully decentralized setting, demonstrating utility comparable to central aggregation methods.

arxiv情報

著者 Antti Koskela,Tejas Kulkarni
発行日 2025-05-26 13:31:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.DC, cs.LG | Differential Privacy Analysis of Decentralized Gossip Averaging under Varying Threat Models はコメントを受け付けていません