HWC-Loco: A Hierarchical Whole-Body Control Approach to Robust Humanoid Locomotion

投稿日: 2025年3月11日 作成者: jarxiv

要約

さまざまな職場で人間の役割を想定できるヒューマノイドロボットは、具体化された知性の進歩に不可欠になっています。
ただし、複雑な物理構造を持つロボットとして、特にトレーニング環境と展開環境の矛盾の下で、多様な環境で堅牢に動作できる制御モデルを学習することは、本質的に困難なままです。
この研究では、ヒューマノイド移動タスクに合わせた堅牢な全身コントロールアルゴリズムであるHWC-Locoを提案します。
堅牢な最適化問題として政策学習を再編成することにより、HWC-Locoは安全性が批判的なシナリオから回復することを明示的に学びます。
安全保証に優先順位を付ける一方で、過度に保守的な行動は、特定のタスクを完了するロボットの能力を損なう可能性があります。
この課題に取り組むために、HWC-Locoは堅牢な制御のために階層的なポリシーを活用します。
このポリシーは、人間の行動規範と動的な制約に導かれ、目標追跡と安全回復の間のトレードオフを動的に解決できます。
HWC-LOCOのパフォーマンスを評価するために、シミュレートされた環境と実際の環境の両方で、多様な地形、ロボット構造、および移動タスクにわたるHWC-Locoの優れたパフォーマンスを実証し、最先端のヒューマノイド制御モデルとの広範な比較を実施します。

要約(オリジナル)

Humanoid robots, capable of assuming human roles in various workplaces, have become essential to the advancement of embodied intelligence. However, as robots with complex physical structures, learning a control model that can operate robustly across diverse environments remains inherently challenging, particularly under the discrepancies between training and deployment environments. In this study, we propose HWC-Loco, a robust whole-body control algorithm tailored for humanoid locomotion tasks. By reformulating policy learning as a robust optimization problem, HWC-Loco explicitly learns to recover from safety-critical scenarios. While prioritizing safety guarantees, overly conservative behavior can compromise the robot’s ability to complete the given tasks. To tackle this challenge, HWC-Loco leverages a hierarchical policy for robust control. This policy can dynamically resolve the trade-off between goal-tracking and safety recovery, guided by human behavior norms and dynamic constraints. To evaluate the performance of HWC-Loco, we conduct extensive comparisons against state-of-the-art humanoid control models, demonstrating HWC-Loco’s superior performance across diverse terrains, robot structures, and locomotion tasks under both simulated and real-world environments.

arxiv情報

著者 Sixu Lin,Guanren Qiao,Yunxin Tai,Ang Li,Kui Jia,Guiliang Liu
発行日 2025-03-10 17:33:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | HWC-Loco: A Hierarchical Whole-Body Control Approach to Robust Humanoid Locomotion はコメントを受け付けていません

Analyzing Symmetries of Swarms of Mobile Robots Using Equivariant Dynamical Systems

投稿日: 2025年3月11日 作成者: jarxiv

要約

この記事では、モバイルロボットの分散システムの対称性を調査します。
$ \ mathcal {oblot} $モデルの$ n \ in \ mathbb {n} $ロボットの群れを検討し、等変ダイナミカルシステム理論を使用してそれらの$ \ mathcal {f} $ sync sync dynamicsを分析します。
この目的のために、対応する進化関数が$ \ mathbb {r}^2 $の回転および反射変換と通信することを示します。
これらは、$ \ mathbf {o}（2）\ times s_n $に同型であるグループを形成します。
等量動的システムの理論は、ロボットの群れの対称性が任意のプロトコルに続いて潜在的に増加する可能性がある階層を推定するために使用されます。
LCMサイクルの数学的記述における計算フェーズと移動フェーズからのルックフェーズを切り離すことにより、この階層は接続グラフの自動性の観点から特徴付けます。
特に、分離された計算と移動相が反転可能である場合、すべての可能なタイプの対称性が増加することがわかります。
最後に、コンピューティングフェーズのみで構成される還元システムが線形である状態依存的な線形ダイナミクスを誘導するプロトコルに結果を適用します。

要約(オリジナル)

In this article, we investigate symmetry properties of distributed systems of mobile robots. We consider a swarm of $n\in\mathbb{N}$ robots in the $\mathcal{OBLOT}$ model and analyze their collective $\mathcal{F}$sync dynamics using of equivariant dynamical systems theory. To this end, we show that the corresponding evolution function commutes with rotational and reflective transformations of $\mathbb{R}^2$. These form a group that is isomorphic to $\mathbf{O}(2) \times S_n$, the product group of the orthogonal group and the permutation on $n$ elements. The theory of equivariant dynamical systems is used to deduce a hierarchy along which symmetries of a robot swarm can potentially increase following an arbitrary protocol. By decoupling the Look phase from the Compute and Move phases in the mathematical description of an LCM cycle, this hierarchy can be characterized in terms of automorphisms of connectivity graphs. In particular, we find all possible types of symmetry increase, if the decoupled Compute and Move phase is invertible. Finally, we apply our results to protocols which induce state-dependent linear dynamics, where the reduced system consisting of only the Compute and Move phase is linear.

arxiv情報

著者 Raphael Gerlach,Sören von der Gracht
発行日 2025-03-10 17:43:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Analyzing Symmetries of Swarms of Mobile Robots Using Equivariant Dynamical Systems はコメントを受け付けていません

Signed Graph Autoencoder for Explainable and Polarization-Aware Network Embeddings

投稿日: 2025年3月11日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）に基づく自動エンコーダーは、グラフなどの複雑なトポロジーの構造を特徴付ける、有益な潜在表現を抽出する能力について、近年大きな注目を集めています。
グラフ自動エンコーダーの有病率にもかかわらず、署名されたネットワーク向けに特別に設計された説明可能なニューラルベースのグラフ生成モデルの開発と評価に焦点が当てられています。
このギャップに対処するために、署名されたグラフArchetypal Autoencoder（SGAAE）フレームワークを提案します。
SGAAEは、ネットワーク内でアーキタイプと呼ばれる個別の極端なプロファイルでノードメンバーシップを表現するノードレベルの表現を抽出します。
これは、グラフを学習したポリトープに投影することによって達成されます。これは、偏光を支配します。
このフレームワークでは、Skellam分布に基づいて署名されたネットワークを分析するために最近提案された可能性を採用し、関係の典型分析とGNNと組み合わせています。
私たちの実験的評価は、ネットワーク内の対立する見解の参加を通じて形成された競合するコミュニティを抽出しながら、さまざまな基礎となる潜在的な構造をめぐるノードメンバーシップを正常に推測するSGAAESの能力を示しています。
さらに、2レベルのネットワーク偏光問題を導入し、SGAAEがそのような設定をどのように特徴付けることができるかを示します。
提案されたモデルは、4つの実際のデータセットにわたって署名されたリンク予測のさまざまなタスクで高性能を達成し、いくつかのベースラインモデルを上回ります。

要約(オリジナル)

Autoencoders based on Graph Neural Networks (GNNs) have garnered significant attention in recent years for their ability to extract informative latent representations, characterizing the structure of complex topologies, such as graphs. Despite the prevalence of Graph Autoencoders, there has been limited focus on developing and evaluating explainable neural-based graph generative models specifically designed for signed networks. To address this gap, we propose the Signed Graph Archetypal Autoencoder (SGAAE) framework. SGAAE extracts node-level representations that express node memberships over distinct extreme profiles, referred to as archetypes, within the network. This is achieved by projecting the graph onto a learned polytope, which governs its polarization. The framework employs a recently proposed likelihood for analyzing signed networks based on the Skellam distribution, combined with relational archetypal analysis and GNNs. Our experimental evaluation demonstrates the SGAAEs’ capability to successfully infer node memberships over the different underlying latent structures while extracting competing communities formed through the participation of the opposing views in the network. Additionally, we introduce the 2-level network polarization problem and show how SGAAE is able to characterize such a setting. The proposed model achieves high performance in different tasks of signed link prediction across four real-world datasets, outperforming several baseline models.

arxiv情報

著者 Nikolaos Nakis,Chrysoula Kosma,Giannis Nikolentzos,Michalis Chatzianastasis,Iakovos Evdaimon,Michalis Vazirgiannis
発行日 2025-03-10 15:02:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SI | Signed Graph Autoencoder for Explainable and Polarization-Aware Network Embeddings はコメントを受け付けていません

Solving Differential Equations with Constrained Learning

投稿日: 2025年3月11日 作成者: jarxiv

要約

（部分）微分方程式（PDE）は、自然現象を記述するための基本的なツールであり、科学と工学においてソリューションを不可欠にしています。
有限要素法などの従来の方法は信頼できるソリューションを提供しますが、それらの精度は多くの場合、計算集中的な微細メッシュの使用に結び付けられています。
さらに、それらは自然に測定や以前の解決策を考慮しておらず、問題パラメーターの変更は結果を完全に再計算する必要があります。
物理学に基づいたニューラルネットワークやニューラル演算子などのニューラルネットワークベースのアプローチは、これらのモデルをPDEソリューションに直接適合させることにより、メッシュフリーの代替品を提供します。
また、追加のトレーニング損失を集約するだけで、事前知識を統合し、PDEの家族全員に取り組むこともできます。
それにもかかわらず、それらは、コロケーションポイントや各損失に関連する重みなどのハイパーパラメーターに非常に敏感です。
このペーパーでは、科学制約の学習（SCL）フレームワークを開発することにより、これらの課題に対処します。
PDEの（弱い）ソリューションを見つけることは、最悪の喪失の制約された学習問題を解決することと同等であることを示しています。
これは、集約された損失の期待値を最小限に抑える以前の方法の制限を説明しています。
SCLはまた、構造的制約（例：Invariance）および（部分的な）測定または既知のソリューションを有機的に統合します。
結果として得られる制約された学習問題は、さまざまなPDE、ニューラルネットワークアーキテクチャ、および大規模なハイパーパラメーターチューニングなしで、場合によっては低い計算コストでさえ、正確なソリューション、ニューラルネットワークアーキテクチャ、および事前知識レベルをもたらす実用的なアルゴリズムを使用して取り組むことができます。

要約(オリジナル)

(Partial) differential equations (PDEs) are fundamental tools for describing natural phenomena, making their solution crucial in science and engineering. While traditional methods, such as the finite element method, provide reliable solutions, their accuracy is often tied to the use of computationally intensive fine meshes. Moreover, they do not naturally account for measurements or prior solutions, and any change in the problem parameters requires results to be fully recomputed. Neural network-based approaches, such as physics-informed neural networks and neural operators, offer a mesh-free alternative by directly fitting those models to the PDE solution. They can also integrate prior knowledge and tackle entire families of PDEs by simply aggregating additional training losses. Nevertheless, they are highly sensitive to hyperparameters such as collocation points and the weights associated with each loss. This paper addresses these challenges by developing a science-constrained learning (SCL) framework. It demonstrates that finding a (weak) solution of a PDE is equivalent to solving a constrained learning problem with worst-case losses. This explains the limitations of previous methods that minimize the expected value of aggregated losses. SCL also organically integrates structural constraints (e.g., invariances) and (partial) measurements or known solutions. The resulting constrained learning problems can be tackled using a practical algorithm that yields accurate solutions across a variety of PDEs, neural network architectures, and prior knowledge levels without extensive hyperparameter tuning and sometimes even at a lower computational cost.

arxiv情報

著者 Viggo Moro,Luiz F. O. Chamon
発行日 2025-03-10 15:22:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CE, cs.LG | Solving Differential Equations with Constrained Learning はコメントを受け付けていません

Joint Graph Rewiring and Feature Denoising via Spectral Resonance

投稿日: 2025年3月11日 作成者: jarxiv

要約

グラフデータから学習するとき、グラフとノードは両方ともノードラベルに関する騒々しい情報を提供します。
この論文では、機能を共同で除去し、グラフ（JDR）を再配線するアルゴリズムを提案します。これにより、下流ノード分類グラフニューラルネット（GNN）のパフォーマンスが向上します。
JDRは、グラフと機能のマトリックスの主要なスペクトル空間を調整することにより機能します。
それは、複数のクラスと異なるレベルの同性愛または異種のグラフを処理する方法で、関連する非凸最適化問題をほぼ解決します。
理論的には、様式化された設定でJDRを正当化し、幅広い合成および実世界のノード分類タスクで既存の再配線方法を常に上回ることを示しています。

要約(オリジナル)

When learning from graph data, the graph and the node features both give noisy information about the node labels. In this paper we propose an algorithm to jointly denoise the features and rewire the graph (JDR), which improves the performance of downstream node classification graph neural nets (GNNs). JDR works by aligning the leading spectral spaces of graph and feature matrices. It approximately solves the associated non-convex optimization problem in a way that handles graphs with multiple classes and different levels of homophily or heterophily. We theoretically justify JDR in a stylized setting and show that it consistently outperforms existing rewiring methods on a wide range of synthetic and real-world node classification tasks.

arxiv情報

著者 Jonas Linkerhägner,Cheng Shi,Ivan Dokmanić
発行日 2025-03-10 15:24:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SI, stat.ML | Joint Graph Rewiring and Feature Denoising via Spectral Resonance はコメントを受け付けていません

Trustworthy Machine Learning via Memorization and the Granular Long-Tail: A Survey on Interactions, Tradeoffs, and Beyond

投稿日: 2025年3月11日 作成者: jarxiv

要約

機械学習（ML）における暗記の役割は、特に現代のモデルがトレーニングデータの断片を記憶するように経験的に観察されているため、大きな注目を集めています。
フェルドマンの独創的な作品などの以前の理論分析は、トレーニングデータにおける長期尾分布の有病率に暗記を帰し、分布の尾にあるサンプルについては避けられないことを証明します。
ただし、暗記と信頼できるMLの研究の交差点は、重要なギャップを明らかにしています。
信頼できるMLでの暗記に関する以前の研究は、クラスの不均衡のみに焦点を当てていますが、最近の研究は、有効でまれなクラス内インスタンスである非定型サンプルとクラスレベルの希少性を区別し始めています。
ただし、重要な研究のギャップは残っています。現在のフレームワークは、非定型サンプルを騒々しいデータと誤ったデータと混同し、公平性、堅牢性、プライバシーに対する異なる影響を無視します。
この作業では、既存の研究と信頼できるMLと暗記の役割に関するその結果に関する徹底的な調査を実施します。
さらにそれ以上に、私たちは未知のギャップを特定し、強調し、この研究の方向に新しい収益を提案します。
既存の理論的および経験的分析には、必要性と責任の両方として記憶の二重性を解き放つためのニュアンスが欠けているため、3レベルの長期尾の粒度 – クラスの不均衡、非定型、ノイズ – 現在のフレームワークがこれらのレベルをどのように誤って適用するかを明らかにし、潜在的な解決策を永続させます。
この粒度を体系化することにより、将来の研究のためのロードマップを描きます。
信頼できるMLは、公平性保証のために非定型性を暗記することと、堅牢性とプライバシー保証のためにノイズを抑制することとの間の微妙なトレードオフを調整する必要があります。
この粒度を介して暗記を再定義すると、信頼できるMLの理論的基盤が形成され、パフォーマンスを社会的信頼に合わせるモデルの経験的前提条件がさらに得られます。

要約(オリジナル)

The role of memorization in machine learning (ML) has garnered significant attention, particularly as modern models are empirically observed to memorize fragments of training data. Previous theoretical analyses, such as Feldman’s seminal work, attribute memorization to the prevalence of long-tail distributions in training data, proving it unavoidable for samples that lie in the tail of the distribution. However, the intersection of memorization and trustworthy ML research reveals critical gaps. While prior research in memorization in trustworthy ML has solely focused on class imbalance, recent work starts to differentiate class-level rarity from atypical samples, which are valid and rare intra-class instances. However, a critical research gap remains: current frameworks conflate atypical samples with noisy and erroneous data, neglecting their divergent impacts on fairness, robustness, and privacy. In this work, we conduct a thorough survey of existing research and their findings on trustworthy ML and the role of memorization. More and beyond, we identify and highlight uncharted gaps and propose new revenues in this research direction. Since existing theoretical and empirical analyses lack the nuances to disentangle memorization’s duality as both a necessity and a liability, we formalize three-level long-tail granularity – class imbalance, atypicality, and noise – to reveal how current frameworks misapply these levels, perpetuating flawed solutions. By systematizing this granularity, we draw a roadmap for future research. Trustworthy ML must reconcile the nuanced trade-offs between memorizing atypicality for fairness assurance and suppressing noise for robustness and privacy guarantee. Redefining memorization via this granularity reshapes the theoretical foundation for trustworthy ML, and further affords an empirical prerequisite for models that align performance with societal trust.

arxiv情報

著者 Qiongxiu Li,Xiaoyu Luo,Yiyi Chen,Johannes Bjerva
発行日 2025-03-10 16:20:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Trustworthy Machine Learning via Memorization and the Granular Long-Tail: A Survey on Interactions, Tradeoffs, and Beyond はコメントを受け付けていません

A Step Toward Interpretability: Smearing the Likelihood

投稿日: 2025年3月11日 作成者: jarxiv

要約

粒子物理学における機械学習アーキテクチャの解釈可能性の問題には、合意された定義はなく、提案された解決策ははるかに少ないです。
これらの目標に対する最初の控えめなステップを提示し、マシンが利用する関連する物理エネルギースケールの分離と識別のための定義と対応する実用的な方法を提案します。
これは、互いの規定されたメトリックエネルギー距離内にあるすべての入力イベントを塗り付けるか平均することによって達成され、それに応じて、データスパース上で連続して有限の離散データセットで測定された量をそれに応じてレンダリングします。
このアプローチ内で、（近似）スケーリング法則は、有限のデータセットを考慮して機械が外挿する必要がある既確最小距離の分布の分析に適用される極度の価値理論の結果であることを明示的に実証することができます。
例として、クォークとグルオンジェットの識別を研究し、塗抹された尤度を構築し、解像度が減少するにつれて識別力が着実に増加することを示し、問題の真の可能性がすべてのスケールでの排出に敏感であることを示しています。

要約(オリジナル)

The problem of interpretability of machine learning architecture in particle physics has no agreed-upon definition, much less any proposed solution. We present a first modest step toward these goals by proposing a definition and corresponding practical method for isolation and identification of relevant physical energy scales exploited by the machine. This is accomplished by smearing or averaging over all input events that lie within a prescribed metric energy distance of one another and correspondingly renders any quantity measured on a finite, discrete dataset continuous over the dataspace. Within this approach, we are able to explicitly demonstrate that (approximate) scaling laws are a consequence of extreme value theory applied to analysis of the distribution of the irreducible minimal distance over which a machine must extrapolate given a finite dataset. As an example, we study quark versus gluon jet identification, construct the smeared likelihood, and show that discrimination power steadily increases as resolution decreases, indicating that the true likelihood for the problem is sensitive to emissions at all scales.

arxiv情報

著者 Andrew J. Larkoski
発行日 2025-03-10 16:35:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ex, hep-ph, stat.ML | A Step Toward Interpretability: Smearing the Likelihood はコメントを受け付けていません

Real-Time Structural Deflection Estimation in Hydraulically Actuated Systems Using 3D Flexible Multibody Simulation and DNNs

投稿日: 2025年3月11日 作成者: jarxiv

要約

重機の軽量の高強度鋼構造の精度、安定性、および性能は、その高度な非線形ダイナミクスの影響を受けます。
これにより、制御がより困難になり、シミュレーションがより計算的に集中し、標準的なアプローチを使用してリアルタイムの自律性を達成し、不可能になります。
ただし、データ駆動型、物理学に基づいた、物理学にインスパイアされたネットワークを介した機械学習は、非線形の動的な問題に対してより計算効率的かつ正確なソリューションを約束します。
この研究では、油圧作動された3次元システムにおけるリアルタイム構造のたわみを推定するために開発された新しいフレームワークを提案しています。
強制励起にさらされた機械システムの動的な応答を推定するための機械学習ベースの方法であるスライドに基づいています。〜さらに、ランダム化された初期構成と油圧圧力を使用して油圧作動システムからのデータ収集のためにアルゴリズムが導入されています。
Neural Networkは、Pytorch、Adam Optimizer、さまざまなセンサー入力、および最小出力データの標準パラメーターを使用して、より短い時間で正常にトレーニングされました。
スライド訓練を受けたニューラルネットワークは、柔軟なマルチボディシミュレーションバッチを参照して、$ 10^7 $の偏向推定ソリューションを加速し、合理的な精度を提供しました。
これらの結果は、制御、ロボットマニピュレーター、構造的健康監視、自動化の問題のための堅牢でリアルタイムのソリューションを提供するという研究の目標をサポートしています。

要約(オリジナル)

The precision, stability, and performance of lightweight high-strength steel structures in heavy machinery is affected by their highly nonlinear dynamics. This, in turn, makes control more difficult, simulation more computationally intensive, and achieving real-time autonomy, using standard approaches, impossible. Machine learning through data-driven, physics-informed and physics-inspired networks, however, promises more computationally efficient and accurate solutions to nonlinear dynamic problems. This study proposes a novel framework that has been developed to estimate real-time structural deflection in hydraulically actuated three-dimensional systems. It is based on SLIDE, a machine-learning-based method to estimate dynamic responses of mechanical systems subjected to forced excitations.~Further, an algorithm is introduced for the data acquisition from a hydraulically actuated system using randomized initial configurations and hydraulic pressures.~The new framework was tested on a hydraulically actuated flexible boom with various sensor combinations and lifting various payloads. The neural network was successfully trained in less time using standard parameters from PyTorch, ADAM optimizer, the various sensor inputs, and minimal output data. The SLIDE-trained neural network accelerated deflection estimation solutions by a factor of $10^7$ in reference to flexible multibody simulation batches and provided reasonable accuracy. These results support the studies goal of providing robust, real-time solutions for control, robotic manipulators, structural health monitoring, and automation problems.

arxiv情報

著者 Qasim Khadim,Peter Manzl,Emil Kurvinen,Aki Mikkola,Grzegorz Orzechowski,Johannes Gerstmayr
発行日 2025-03-10 16:56:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T05, 70E60, 74H15, 93C10, cs.LG, cs.RO, cs.SY, eess.SY, G.1.6, math.DS | Real-Time Structural Deflection Estimation in Hydraulically Actuated Systems Using 3D Flexible Multibody Simulation and DNNs はコメントを受け付けていません

Federated Multimodal Learning with Dual Adapters and Selective Pruning for Communication and Computational Efficiency

投稿日: 2025年3月11日 作成者: jarxiv

要約

Federated Learning（FL）は、データプライバシーを維持しながら、分散クライアント間の共同学習を可能にします。
ただし、FLは不均一なデータ分布に対処する際に大きな課題に直面しており、多様なクライアント全体で一般化できない最適ではないグローバルモデルにつながる可能性があります。
この作業では、デュアルアダプターアプローチを導入することにより、これらの課題に取り組むように設計された新しいフレームワークを提案します。
このメソッドは、クライアント固有のパーソナライズとより小さなグローバルアダプターのために、より大きなローカルアダプターを利用して、クライアント間の効率的な知識共有を促進します。
さらに、ローカルアダプターからより少ない影響力のあるパラメーターを選択的に削除することにより、通信オーバーヘッドを削減するための剪定メカニズムを組み込みます。
さまざまなビジョンと言語のタスクに関する広範な実験を通じて、私たちの方法は、既存のアプローチと比較して優れたパフォーマンスを示しています。
通信コストを大幅に削減しながら、テストの精度が高く、クライアント間のパフォーマンスの変動が低くなり、最悪のパフォーマンスが向上しました。
全体として、提案された方法は、モデルのパーソナライズと一般化の間の重要なトレードオフに対処し、実際のFLアプリケーションにスケーラブルなソリューションを提供します。

要約(オリジナル)

Federated Learning (FL) enables collaborative learning across distributed clients while preserving data privacy. However, FL faces significant challenges when dealing with heterogeneous data distributions, which can lead to suboptimal global models that fail to generalize across diverse clients. In this work, we propose a novel framework designed to tackle these challenges by introducing a dual-adapter approach. The method utilizes a larger local adapter for client-specific personalization and a smaller global adapter to facilitate efficient knowledge sharing across clients. Additionally, we incorporate a pruning mechanism to reduce communication overhead by selectively removing less impactful parameters from the local adapter. Through extensive experiments on a range of vision and language tasks, our method demonstrates superior performance compared to existing approaches. It achieves higher test accuracy, lower performance variance among clients, and improved worst-case performance, all while significantly reducing communication and computation costs. Overall, the proposed method addresses the critical trade-off between model personalization and generalization, offering a scalable solution for real-world FL applications.

arxiv情報

著者 Duy Phuong Nguyen,J. Pablo Munoz,Tanya Roosta,Ali Jannesari
発行日 2025-03-10 17:21:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Federated Multimodal Learning with Dual Adapters and Selective Pruning for Communication and Computational Efficiency はコメントを受け付けていません

An Empirical Comparison of Cost Functions in Inductive Logic Programming

投稿日: 2025年3月11日 作成者: jarxiv

要約

最近の帰納的論理プログラミング（ILP）アプローチは、最適な仮説を学習します。
最適な仮説は、トレーニングデータの特定のコスト関数を最小限に抑えます。
トレーニングエラーの最小化、テキストの複雑さ、または仮説の説明の長さなど、多くのコスト関数があります。
ただし、適切なコスト関数を選択することは重要な問題です。
このギャップに対処するために、制約ベースのILPシステムを拡張して、7つの標準コスト関数の最適な仮説を学習します。
次に、これらの標準コスト関数の下で誘導される最適な仮説の一般化誤差を経験的に比較します。
ゲームプレイ、プログラムの統合、画像推論など、20を超えるドメインと1000のタスクに関する結果は、コスト関数が他のものを一貫して上回ることはないことを示していますが、トレーニングエラーまたは説明の長さを最小限に抑えることは全体的なパフォーマンスが最適です。
特に、我々の結果は、仮説のサイズを最小限に抑えることで、一般化エラーを常に減らすとは限らないことを示しています。

要約(オリジナル)

Recent inductive logic programming (ILP) approaches learn optimal hypotheses. An optimal hypothesis minimises a given cost function on the training data. There are many cost functions, such as minimising training error, textual complexity, or the description length of hypotheses. However, selecting an appropriate cost function remains a key question. To address this gap, we extend a constraint-based ILP system to learn optimal hypotheses for seven standard cost functions. We then empirically compare the generalisation error of optimal hypotheses induced under these standard cost functions. Our results on over 20 domains and 1000 tasks, including game playing, program synthesis, and image reasoning, show that, while no cost function consistently outperforms the others, minimising training error or description length has the best overall performance. Notably, our results indicate that minimising the size of hypotheses does not always reduce generalisation error.

arxiv情報

著者 Céline Hocquette,Andrew Cropper
発行日 2025-03-10 17:22:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | An Empirical Comparison of Cost Functions in Inductive Logic Programming はコメントを受け付けていません