Tactile-based force estimation for interaction control with robot fingers

投稿日: 2025年3月11日 作成者: jarxiv

要約

微細な器用な操作には、マニピュレーターとオブジェクトの相互作用の豊富なセンシングに基づいた反応性制御が必要です。
触覚センシングアレイは、マニピュレーターの表面全体に豊富な連絡先情報を提供します。
ただし、その実装は、ロボットハンドなどの複雑な表面全体での正確な力の推定と、これらの推定値の反応性制御ループへの統合という2つの主な課題に直面しています。
さまざまなジオメトリ全体で迅速かつフルレイの力の推定を可能にするデータ効率の高いキャリブレーション方法を提示し、非線形性と変形効果を説明するオンラインフィードバックを提供します。
私たちのフォース推定モデルは、相互作用力追跡のためのオンライン閉ループ制御システムのフィードバックとして機能します。
推定値の精度は、較正されたフォーストルクセンサーからの測定に対して独立して検証されます。
Xela Uskinセンサーを装備したAllegroハンドを使用して、100Hzで実行されるアドミタンスコントロールループを介して正確な力アプリケーションを実証し、器用な操作の有望な可能性を示す最大0.12 +/- 0.08 [n]エラーマージン結果を達成します。

要約(オリジナル)

Fine dexterous manipulation requires reactive control based on rich sensing of manipulator-object interactions. Tactile sensing arrays provide rich contact information across the manipulator’s surface. However their implementation faces two main challenges: accurate force estimation across complex surfaces like robotic hands, and integration of these estimates into reactive control loops. We present a data-efficient calibration method that enables rapid, full-array force estimation across varying geometries, providing online feedback that accounts for non-linearities and deformation effects. Our force estimation model serves as feedback in an online closed-loop control system for interaction force tracking. The accuracy of our estimates is independently validated against measurements from a calibrated force-torque sensor. Using the Allegro Hand equipped with Xela uSkin sensors, we demonstrate precise force application through an admittance control loop running at 100Hz, achieving up to 0.12+/-0.08 [N] error margin-results that show promising potential for dexterous manipulation.

arxiv情報

著者 Elie Chelly,Andrea Cherubini,Philippe Fraisse,Faiz Ben Amar,Mahdi Khoramshahi
発行日 2025-03-10 13:38:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Tactile-based force estimation for interaction control with robot fingers はコメントを受け付けていません

AffordDexGrasp: Open-set Language-guided Dexterous Grasp with Generalizable-Instructive Affordance

投稿日: 2025年3月11日 作成者: jarxiv

要約

言語誘導ロボットの器用な生成により、ロボットは人間のコマンドに基づいてオブジェクトを把握および操作できます。
ただし、以前のデータ駆動型メソッドは、意図を理解し、オープンセットの目に見えないカテゴリで把握を実行するのは困難です。
この作業では、新しいタスク、オープンセットの言語誘導器用な巧妙な把握を探り、主な課題は高レベルの人間言語セマンティクスと低レベルのロボットアクションの大きなギャップであることがわかります。
この問題を解決するために、新しい一般化可能なイントラクティブなアフォーダンス表現でギャップを埋めるという洞察を得て、アフォーダンスの器用な把握（affordexgrasp）フレームワークを提案します。
このアフォーダンスは、オブジェクトのローカル構造とカテゴリに依存しないセマンティック属性を活用することにより、目に見えないカテゴリに一般化することができ、それにより、器用な把握の生成を効果的に導きます。
アフォーダンスに基づいて構築された私たちのフレームワークは、アフォーダンス生成のためのAfforeCne Flow Matter（AFM）を入力として導入し、入力としてアフォーダンスを備えた器用な把握を生成するためのフローマッチング（GFM）を把握します。
フレームワークを評価するために、オープンセットのテーブルトップ言語誘導器具把握データセットを構築します。
シミュレーションと現実の世界での広範な実験は、私たちのフレームワークが以前のすべての方法をオープンセット一般化のすべての方法を上回っていることを示しています。

要約(オリジナル)

Language-guided robot dexterous generation enables robots to grasp and manipulate objects based on human commands. However, previous data-driven methods are hard to understand intention and execute grasping with unseen categories in the open set. In this work, we explore a new task, Open-set Language-guided Dexterous Grasp, and find that the main challenge is the huge gap between high-level human language semantics and low-level robot actions. To solve this problem, we propose an Affordance Dexterous Grasp (AffordDexGrasp) framework, with the insight of bridging the gap with a new generalizable-instructive affordance representation. This affordance can generalize to unseen categories by leveraging the object’s local structure and category-agnostic semantic attributes, thereby effectively guiding dexterous grasp generation. Built upon the affordance, our framework introduces Affordacne Flow Matching (AFM) for affordance generation with language as input, and Grasp Flow Matching (GFM) for generating dexterous grasp with affordance as input. To evaluate our framework, we build an open-set table-top language-guided dexterous grasp dataset. Extensive experiments in the simulation and real worlds show that our framework surpasses all previous methods in open-set generalization.

arxiv情報

著者 Yi-Lin Wei,Mu Lin,Yuhao Lin,Jian-Jian Jiang,Xiao-Ming Wu,Ling-An Zeng,Wei-Shi Zheng
発行日 2025-03-10 14:17:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | AffordDexGrasp: Open-set Language-guided Dexterous Grasp with Generalizable-Instructive Affordance はコメントを受け付けていません

AttentionSwarm: Reinforcement Learning with Attention Control Barier Function for Crazyflie Drones in Dynamic Environments

投稿日: 2025年3月11日 作成者: jarxiv

要約

3つの挑戦的な環境で安全で効率的な群れ制御を評価するために設計された新しいベンチマークであるAttentionsWarmを紹介します。障害物を備えた着陸環境、競争力のあるドローンゲーム設定、ダイナミックなドローンレースシナリオです。
私たちのアプローチの中心は、注意モデルベースのコントロールバリア機能（CBF）フレームワークです。これは、リアルタイムの衝突回避と軌道最適化を可能にするために、注意メカニズムを安全性クリティカル制御理論と統合します。
このフレームワークは、注意力を使用して群れ周辺の重要な障害とエージェントを動的に優先しますが、CBFは衝突のない制約を実施することにより安全性を正式に保証します。
安全な注意ネットアルゴリズムが開発され、CrazyFlie 2.1マイクロクワッドローターの群れを使用して評価されました。これは、正確なローカリゼーションと制御を確保するためにViconモーションキャプチャシステムで屋内でテストされました。
実験結果は、私たちのシステムが3.02 cmの着陸精度を達成し、平均時間は23秒、ダイナミックな着陸環境での衝突のない着陸、ドローンゲーム環境での100％と衝突のないナビゲーション、95％と動的なマルチエージェントドローンレース環境のための衝突のないナビゲーション、現実的なシナリオの効果と堅牢性を強調します。
この作業は、安全性と耐久性が最も重要な動的環境でのアプリケーションの有望な基盤を提供します。

要約(オリジナル)

We introduce AttentionSwarm, a novel benchmark designed to evaluate safe and efficient swarm control across three challenging environments: a landing environment with obstacles, a competitive drone game setting, and a dynamic drone racing scenario. Central to our approach is the Attention Model Based Control Barrier Function (CBF) framework, which integrates attention mechanisms with safety-critical control theory to enable real-time collision avoidance and trajectory optimization. This framework dynamically prioritizes critical obstacles and agents in the swarms vicinity using attention weights, while CBFs formally guarantee safety by enforcing collision-free constraints. The safe attention net algorithm was developed and evaluated using a swarm of Crazyflie 2.1 micro quadrotors, which were tested indoors with the Vicon motion capture system to ensure precise localization and control. Experimental results show that our system achieves landing accuracy of 3.02 cm with a mean time of 23 s and collision-free landings in a dynamic landing environment, 100% and collision-free navigation in a drone game environment, and 95% and collision-free navigation for a dynamic multiagent drone racing environment, underscoring its effectiveness and robustness in real-world scenarios. This work offers a promising foundation for applications in dynamic environments where safety and fastness are paramount.

arxiv情報

著者 Grik Tadevosyan,Valerii Serpiva,Aleksey Fedoseev,Roohan Ahmed Khan,Demetros Aschu,Faryal Batool,Nickolay Efanov,Artem Mikhaylov,Dzmitry Tsetserukou
発行日 2025-03-10 14:30:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | AttentionSwarm: Reinforcement Learning with Attention Control Barier Function for Crazyflie Drones in Dynamic Environments はコメントを受け付けていません

Towards Safe Robot Foundation Models

投稿日: 2025年3月11日 作成者: jarxiv

要約

Robot Foundationモデルは、産業用アプリケーションから家庭用タスクまで、多様な環境にわたって展開の可能性を秘めています。
現在の研究は、主にさまざまなタスクにわたるポリシーの一般化機能に焦点を当てていますが、実際のシステムでの展開の重要な要件である安全性に対処することができません。
この論文では、ジェネラリスト政策のアクション空間を適切に制約するように設計された安全層を紹介します。
私たちのアプローチでは、安全なアクション空間を作成する安全な補強学習アルゴリズムであるAtacomを使用し、したがって、安全な状態移行を保証します。
Atacomをジェネラリストの政策に拡張することにより、当社の方法は、特定の安全性の微調整を必要とせずに、安全性の高いシナリオでの展開を容易にします。
エアホッケー環境でこの安全層の有効性を実証します。エアホッケー環境では、パックヒットエージェントが周囲と衝突するのを防ぎます。

要約(オリジナル)

Robot foundation models hold the potential for deployment across diverse environments, from industrial applications to household tasks. While current research focuses primarily on the policies’ generalization capabilities across a variety of tasks, it fails to address safety, a critical requirement for deployment on real-world systems. In this paper, we introduce a safety layer designed to constrain the action space of any generalist policy appropriately. Our approach uses ATACOM, a safe reinforcement learning algorithm that creates a safe action space and, therefore, ensures safe state transitions. By extending ATACOM to generalist policies, our method facilitates their deployment in safety-critical scenarios without requiring any specific safety fine-tuning. We demonstrate the effectiveness of this safety layer in an air hockey environment, where it prevents a puck-hitting agent from colliding with its surroundings, a failure observed in generalist policies.

arxiv情報

著者 Maximilian Tölle,Theo Gruner,Daniel Palenicek,Jonas Günster,Puze Liu,Joe Watson,Davide Tateo,Jan Peters
発行日 2025-03-10 14:55:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Towards Safe Robot Foundation Models はコメントを受け付けていません

Polyhedral Collision Detection via Vertex Enumeration

投稿日: 2025年3月11日 作成者: jarxiv

要約

衝突検出は、ロボット工学の重要な機能です。
オブジェクトが衝突する程度は、球以外の形状の連続的に微分可能な関数として表すことはできません。
このペーパーでは、多面体形状間の衝突検出を処理するためのフレームワークを提案します。
凸最適化の最適値として、2つの多面体間の署名された距離をフレーム化し、バイレベル最適化問題で署名された距離を制約することを検討します。
特殊なBilevelソルバーに依存することを避けるために、私たちの方法は、署名された距離が2つのボディに関連する凸領域の最小点であるという事実を活用しています。
このメソッドは、この領域のすべての極端なポイントで得られた値を列挙し、それらを高レベルの問題の制約としてリストします。
同じ混合相補性問題ソルバーを使用して解決した場合の信頼性と速度の観点から、既存の方法と定式化を比較します。
私たちのアプローチは、他の方法よりも複数の障害物で困難な衝突検出の問題をより確実に解決し、場合によっては既存の方法よりも速いことを実証します。

要約(オリジナル)

Collision detection is a critical functionality for robotics. The degree to which objects collide cannot be represented as a continuously differentiable function for any shapes other than spheres. This paper proposes a framework for handling collision detection between polyhedral shapes. We frame the signed distance between two polyhedral bodies as the optimal value of a convex optimization, and consider constraining the signed distance in a bilevel optimization problem. To avoid relying on specialized bilevel solvers, our method exploits the fact that the signed distance is the minimal point of a convex region related to the two bodies. Our method enumerates the values obtained at all extreme points of this region and lists them as constraints in the higher-level problem. We compare our formulation to existing methods in terms of reliability and speed when solved using the same mixed complementarity problem solver. We demonstrate that our approach more reliably solves difficult collision detection problems with multiple obstacles than other methods, and is faster than existing methods in some cases.

arxiv情報

著者 Andrew Cinar,Yue Zhao,Forrest Laine
発行日 2025-03-10 15:02:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CG, cs.RO | Polyhedral Collision Detection via Vertex Enumeration はコメントを受け付けていません

Advances in Hybrid Modular Climbing Robots: Design Principles and Refinement Strategies

投稿日: 2025年3月11日 作成者: jarxiv

要約

このペーパーでは、ハイブリッドポールまたはトランククライミングロボットの設計戦略を調査し、設計上の決定を通知し、適応性やパフォーマンスなどのメトリックを評価する方法に焦点を当てています。
モジュラーの腱駆動型の握りアームと砲塔に取り付けられた車輪付きドライブシステムを備えた車輪を握るハイブリッドロボットが、さまざまな直径の柱を登るために開発されました。
ここでは、主要な革新は、モジュール式リンケージを追加または削除することで異なる列サイズに調整できる積極化されたアームですが、ロボットにはセルフロック（電力なしで摩擦によるロボットの能力）、自律的な把握、およびカラム軸の周りの回転などの機能も備えています。
数学モデルは、セルフロックと垂直の登山の条件を説明しています。
実験結果は、登山とセルフロックにおけるロボットの有効性を示し、提案されたモデルを検証し、産業用アプリケーションで完全に自動化されたソリューションの可能性を強調しています。
この作業は、ハイブリッドクライミングロボットを評価および設計するための包括的なフレームワークを提供し、背の高い構造を登ることが重要な環境の自律的ロボット工学の進歩に貢献します。

要約(オリジナル)

This paper explores the design strategies for hybrid pole- or trunk-climbing robots, focusing on methods to inform design decisions and assess metrics such as adaptability and performance. A wheeled-grasping hybrid robot with modular, tendon-driven grasping arms and a wheeled drive system mounted on a turret was developed to climb columns of varying diameters. Here, the key innovation is the underactuated arms that can be adjusted to different column sizes by adding or removing modular linkages, though the robot also features capabilities like self-locking (the ability of the robot to stay on the column by friction without power), autonomous grasping, and rotation around the column axis. Mathematical models describe conditions for self-locking and vertical climbing. Experimental results demonstrate the robot’s efficacy in climbing and self-locking, validating the proposed models and highlighting the potential for fully automated solutions in industrial applications. This work provides a comprehensive framework for evaluating and designing hybrid climbing robots, contributing to advancements in autonomous robotics for environments where climbing tall structures is critical.

arxiv情報

著者 Ryan Poon,Ian Hunter
発行日 2025-03-10 15:09:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Advances in Hybrid Modular Climbing Robots: Design Principles and Refinement Strategies はコメントを受け付けていません

Augmented Carpentry: Computer Vision-assisted Framework for Manual Fabrication

投稿日: 2025年3月11日 作成者: jarxiv

要約

通常の電気木工ツールは、製造タスクのオペレーターを支援するために、複数のオブジェクトを認識した拡張フレームワークに統合されています。
この研究では、オブジェクトとツールの両方を認識するように設計された、技術的な課題、潜在的なボトルネック、および提案されたシステムの精度に焦点を当てた、開発されたオープンソース製造ソフトウェア拡張大工（AC）の高度な評価を提示します。
ワークフローでは、コンピュータービジョンツールとセンサーは、改造ツールにインサイドアウト追跡技術を実装しています。
この方法により、オペレーターはコンピューターで生成されたフィードバックを使用して、正確なソーカットおよび掘削タスクを実行できます。
設計および製造プロセスパイプラインでは、コンピューターの数値制御マシンが木材建設業界で広く使用されているため、コンピューター支援設計環境から手動の製造タスクが直接実行されます。
実行図面、マーキング、ジグを使用する従来の非デジタル方法を交換できるようになり、手動労働をデジタルバリューチェーンに直接統合できます。
まず、このペーパーでは、開発された方法論を紹介し、そのデバイスと機能フェーズを詳細に説明します。
第二に、製造方法は、生成された1対1のモックアップ要素を実験的にスキャンし、矛盾をそれぞれの3次元実行モデルと比較することにより評価されます。
最後に、ツール認識の製造プロセスの改善と制限、ならびにデジタル木材製造環境におけるACの潜在的な影響について説明します。

要約(オリジナル)

Ordinary electric woodworking tools are integrated into a multiple-object-aware augmented framework to assist operators in fabrication tasks. This study presents an advanced evaluation of the developed open-source fabrication software Augmented Carpentry (AC), focusing on the technical challenges, potential bottlenecks, and precision of the proposed system, which is designed to recognize both objects and tools. In the workflow, computer vision tools and sensors implement inside-out tracking techniques for the retrofitting tools. This method enables operators to perform precise saw-cutting and drilling tasks using computer-generated feedback. In the design and manufacturing process pipeline, manual fabrication tasks are performed directly from the computer-aided design environment, as computer numerical control machines are widely used in the timber construction industry. Traditional non-digital methods employing execution drawings, markings, and jigs can now be replaced, and manual labor can be directly integrated into the digital value chain. First, this paper introduces the developed methodology and explains its devices and functional phases in detail. Second, the fabrication methodology is evaluated by experimentally scanning the produced one-to-one scale mock-up elements and comparing the discrepancies with their respective three-dimensional execution models. Finally, improvements and limitations in the tool-aware fabrication process, as well as the potential impact of AC in the digital timber fabrication landscape, are discussed.

arxiv情報

著者 Andrea Settimi,Julien Gamerro,Yves Weinand
発行日 2025-03-10 15:48:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Augmented Carpentry: Computer Vision-assisted Framework for Manual Fabrication はコメントを受け付けていません

QBIT: Quality-Aware Cloud-Based Benchmarking for Robotic Insertion Tasks

投稿日: 2025年3月11日 作成者: jarxiv

要約

挿入タスクは、環境との継続的な相互作用のため、特に自律的な操作では、ロボットにとって基本的でありながら挑戦的です。
AIベースのアプローチは課題に至っているように見えますが、生産では、高い成功率を達成するだけではありません。
また、挿入品質と信頼性を確保する必要があります。
これに対処するために、力エネルギー、力の滑らかさ、完了時間などの追加のメトリックを組み込んだ質の高いベンチマークフレームワークであるQBITを紹介し、包括的な評価を提供します。
統計的有意性を確保し、SIMからリアルのギャップを最小化するために、Mujocoシミュレーターの接触パラメーターをランダム化し、知覚の不確実性を説明し、Kubernetesベースのインフラストラクチャで大規模な実験を実施します。
当社のマイクロサービス指向アーキテクチャは、拡張性、幅広い適用性、および再現性の向上を保証します。
物理的なロボットテストへのシームレスな遷移を容易にするために、ROS2をコンテナ化で使用して統合の障壁を減らします。
シミュレートされた環境と実世界の両方の環境で、幾何学的、力ベース、および学習ベースの3つの挿入アプローチを使用してQBITを評価します。
シミュレーションでは、さまざまなメッシュ分解技術を使用して、連絡先シミュレーションの精度を比較します。
私たちの結果は、さまざまな挿入アプローチを比較し、実験室から現実世界のアプリケーションへの移行を加速する際のQBITの有効性を示しています。
コードはgithubで利用できます。

要約(オリジナル)

Insertion tasks are fundamental yet challenging for robots, particularly in autonomous operations, due to their continuous interaction with the environment. AI-based approaches appear to be up to the challenge, but in production they must not only achieve high success rates. They must also ensure insertion quality and reliability. To address this, we introduce QBIT, a quality-aware benchmarking framework that incorporates additional metrics such as force energy, force smoothness and completion time to provide a comprehensive assessment. To ensure statistical significance and minimize the sim-to-real gap, we randomize contact parameters in the MuJoCo simulator, account for perceptual uncertainty, and conduct large-scale experiments on a Kubernetes-based infrastructure. Our microservice-oriented architecture ensures extensibility, broad applicability, and improved reproducibility. To facilitate seamless transitions to physical robotic testing, we use ROS2 with containerization to reduce integration barriers. We evaluate QBIT using three insertion approaches: geometricbased, force-based, and learning-based, in both simulated and real-world environments. In simulation, we compare the accuracy of contact simulation using different mesh decomposition techniques. Our results demonstrate the effectiveness of QBIT in comparing different insertion approaches and accelerating the transition from laboratory to real-world applications. Code is available on GitHub.

arxiv情報

著者 Constantin Schempp,Yongzhou Zhang,Christian Friedrich,Bjorn Hein
発行日 2025-03-10 15:54:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | QBIT: Quality-Aware Cloud-Based Benchmarking for Robotic Insertion Tasks はコメントを受け付けていません

Learning Physics-Based Full-Body Human Reaching and Grasping from Brief Walking References

投稿日: 2025年3月11日 作成者: jarxiv

要約

MOCAPデータに基づく既存のモーション生成方法は、データの品質とカバレッジによって制限されることがよくあります。
この作業では、短いウォーキングMOCAPデータのみを使用して、多様で物理的に実現可能なフルボディの人間の到達と把握の動きを生成するフレームワークを提案します。
ウォーキングデータがタスク全体で転送可能な貴重な動きのパターンをキャプチャするという観察に基づいて、一方で、高度な運動学的方法は多様な把握ポーズを生成し、タスク固有のガイダンスとして役立つ動きに補間することができます。
当社のアプローチには、生成された動きの有用性を最大化するためのアクティブなデータ生成戦略が組み込まれており、合成モーションの成功率と自然性の両方を高めるために、歩行データから自然な動きのパターンを伝達するローカル機能アラインメントメカニズムが組み込まれています。
自然な歩行の忠実度と安定性を、タスク固有の生成データの柔軟性と一般化可能性と組み合わせることにより、この方法は、多様なシーンと目に見えないオブジェクトで強力なパフォーマンスと堅牢な適応性を示します。

要約(オリジナル)

Existing motion generation methods based on mocap data are often limited by data quality and coverage. In this work, we propose a framework that generates diverse, physically feasible full-body human reaching and grasping motions using only brief walking mocap data. Base on the observation that walking data captures valuable movement patterns transferable across tasks and, on the other hand, the advanced kinematic methods can generate diverse grasping poses, which can then be interpolated into motions to serve as task-specific guidance. Our approach incorporates an active data generation strategy to maximize the utility of the generated motions, along with a local feature alignment mechanism that transfers natural movement patterns from walking data to enhance both the success rate and naturalness of the synthesized motions. By combining the fidelity and stability of natural walking with the flexibility and generalizability of task-specific generated data, our method demonstrates strong performance and robust adaptability in diverse scenes and with unseen objects.

arxiv情報

著者 Yitang Li,Mingxian Lin,Zhuo Lin,Yipeng Deng,Yue Cao,Li Yi
発行日 2025-03-10 15:56:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Learning Physics-Based Full-Body Human Reaching and Grasping from Brief Walking References はコメントを受け付けていません

FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates

投稿日: 2025年3月11日 作成者: jarxiv

要約

Federated Learning（FL）は、分散型の方法でモデルをトレーニングするための広く使用されているフレームワークであり、中央サーバーがローカルクライアントからのデータに直接アクセスできないようにします。
ただし、地元のクライアントからのモデルが集約プロセス中に中央サーバーにさらされるため、このアプローチはまだデータプライバシーを完全に維持できない可能性があります。
VLMはトレーニングデータインスタンスを簡単に記憶し、メンバーシップ推論攻撃（MIA）に対して脆弱になるため、FLでビジョン言語モデル（VLMS）をトレーニングすると、この問題がさらに重要になります。
この課題に対処するために、クライアントパラメーターの完全なセットの開示を避けるFedrandフレームワークを提案します。
このフレームワークでは、各クライアントはサーバーから低ランク適応（LORA）のサブパラメーターをランダムに選択し、LORAウェイトの残りの対応物をプライベートパラメーターとして保持します。
クライアントのプライベートデータセットで両方のパラメーターをトレーニングした後、非プライベートクライアントパラメーターのみが集約のためにサーバーに送り返されます。
このアプローチは、クライアント側のVLMパラメーターを公開するリスクを軽減し、それによりデータプライバシーを強化します。
Fedrandは、関連するベースラインと比較してMIAに対する堅牢性を改善しながら、いくつかのベンチマークデータセットで完全なLORAパラメーターを通信する方法に匹敵する精度を達成することを経験的に検証します。

要約(オリジナル)

Federated Learning (FL) is a widely used framework for training models in a decentralized manner, ensuring that the central server does not have direct access to data from local clients. However, this approach may still fail to fully preserve data privacy, as models from local clients are exposed to the central server during the aggregation process. This issue becomes even more critical when training vision-language models (VLMs) with FL, as VLMs can easily memorize training data instances, making them vulnerable to membership inference attacks (MIAs). To address this challenge, we propose the FedRand framework, which avoids disclosing the full set of client parameters. In this framework, each client randomly selects subparameters of Low-Rank Adaptation (LoRA) from the server and keeps the remaining counterparts of the LoRA weights as private parameters. After training both parameters on the client’s private dataset, only the non-private client parameters are sent back to the server for aggregation. This approach mitigates the risk of exposing client-side VLM parameters, thereby enhancing data privacy. We empirically validate that FedRand improves robustness against MIAs compared to relevant baselines while achieving accuracy comparable to methods that communicate full LoRA parameters across several benchmark datasets.

arxiv情報

著者 Sangwoo Park,Seanie Lee,Byungjoo Kim,Sung Ju Hwang
発行日 2025-03-10 11:55:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates はコメントを受け付けていません