Bootstrapping Object-level Planning with Large Language Models

投稿日: 2025年3月24日 作成者: jarxiv

要約

大規模な言語モデル（LLM）から知識を抽出してオブジェクトレベルの計画を作成する新しい方法を導入します。オブジェクトレベルの計画は、オブジェクト状態の高レベルの変更を記述し、それらを使用してタスクとモーションプランニング（TAMP）をブートストラップします。
既存の作業では、LLMSを使用して、タスク計画を直接出力するか、PDDLなどの表現の目標を生成します。
ただし、これらの方法は、実際の計画を実行するためにLLMに依存しているため、満足していない目標を出力するため、これらの方法が不足しています。
代わりに、私たちのアプローチは、PDDLサブゴールを自動的に生成する機能的オブジェクト指向ネットワーク（FOON）と呼ばれるオブジェクトレベルの表現として、計画スキーマの形でLLMから知識を抽出します。
私たちの方法は、シミュレーションでいくつかのピックアンドプレイスタスクを完了する際に、代替計画戦略を著しく上回っています。

要約(オリジナル)

We introduce a new method that extracts knowledge from a large language model (LLM) to produce object-level plans, which describe high-level changes to object state, and uses them to bootstrap task and motion planning (TAMP). Existing work uses LLMs to directly output task plans or generate goals in representations like PDDL. However, these methods fall short because they rely on the LLM to do the actual planning or output a hard-to-satisfy goal. Our approach instead extracts knowledge from an LLM in the form of plan schemas as an object-level representation called functional object-oriented networks (FOON), from which we automatically generate PDDL subgoals. Our method markedly outperforms alternative planning strategies in completing several pick-and-place tasks in simulation.

arxiv情報

著者 David Paulius,Alejandro Agostini,Benedict Quartey,George Konidaris
発行日 2025-03-21 15:32:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Bootstrapping Object-level Planning with Large Language Models はコメントを受け付けていません

Discrete Policy: Learning Disentangled Action Space for Multi-Task Robotic Manipulation

投稿日: 2025年3月24日 作成者: jarxiv

要約

マルチタスクロボット操作の視覚運動ポリシーを学ぶことは、ロボットコミュニティにとって長年の課題でした。
難易度はアクション空間の多様性にあります。通常、目標は複数の方法で達成できるため、単一のタスクのマルチモーダルアクション分布になります。
アクション分布の複雑さは、タスクの数が増えるとエスカレートします。
この作業では、マルチタスク操作スキルが可能な普遍的なエージェントをトレーニングするためのロボット学習方法である\ textBF {Disclete Policy}を提案します。
離散ポリシーは、ベクトル量子化を使用して、アクションシーケンスを離散潜在スペースにマッピングし、タスク固有のコードの学習を促進します。
これらのコードは、観測と言語指導を条件とするアクションスペースに再構築されます。
シミュレーションと複数の現実世界の実施形態の両方で、単一腕と両腕の両方のロボット設定を含む方法を評価します。
提案された個別のポリシーは、確立された拡散ポリシーのベースラインと、ACT、Octo、OpenVLAなどの多くの最先端のアプローチよりも優れていることを実証します。
たとえば、5つのタスクを備えた現実世界のマルチタスクトレーニング設定では、個別のポリシーは、拡散ポリシーよりも26 \％高く、OpenVLAよりも15％高い平均成功率を達成します。
タスクの数が12に増加すると、離散ポリシーと拡散ポリシーのパフォーマンスギャップは32.5 \％に広がり、アプローチの利点をさらに紹介します。
私たちの研究は、潜在空間内でマルチタスクポリシーを学習することが、汎用エージェントを達成するための重要なステップであることを経験的に示しています。

要約(オリジナル)

Learning visuomotor policy for multi-task robotic manipulation has been a long-standing challenge for the robotics community. The difficulty lies in the diversity of action space: typically, a goal can be accomplished in multiple ways, resulting in a multimodal action distribution for a single task. The complexity of action distribution escalates as the number of tasks increases. In this work, we propose \textbf{Discrete Policy}, a robot learning method for training universal agents capable of multi-task manipulation skills. Discrete Policy employs vector quantization to map action sequences into a discrete latent space, facilitating the learning of task-specific codes. These codes are then reconstructed into the action space conditioned on observations and language instruction. We evaluate our method on both simulation and multiple real-world embodiments, including both single-arm and bimanual robot settings. We demonstrate that our proposed Discrete Policy outperforms a well-established Diffusion Policy baseline and many state-of-the-art approaches, including ACT, Octo, and OpenVLA. For example, in a real-world multi-task training setting with five tasks, Discrete Policy achieves an average success rate that is 26\% higher than Diffusion Policy and 15\% higher than OpenVLA. As the number of tasks increases to 12, the performance gap between Discrete Policy and Diffusion Policy widens to 32.5\%, further showcasing the advantages of our approach. Our work empirically demonstrates that learning multi-task policies within the latent space is a vital step toward achieving general-purpose agents.

arxiv情報

著者 Kun Wu,Yichen Zhu,Jinming Li,Junjie Wen,Ning Liu,Zhiyuan Xu,Jian Tang
発行日 2025-03-21 16:30:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Discrete Policy: Learning Disentangled Action Space for Multi-Task Robotic Manipulation はコメントを受け付けていません

Social Gesture Recognition in spHRI: Leveraging Fabric-Based Tactile Sensing on Humanoid Robots

投稿日: 2025年3月24日 作成者: jarxiv

要約

人間は、タッチのみを使用して異なるメッセージを伝えることができます。
ソーシャルタッチを理解する能力をロボットに装備すると、人間とロボットが通信できる別のモダリティが追加されます。
この論文では、ヒューマノイドロボットの腕に配置されたファブリックベースの大規模な触覚センサーを使用して、ソーシャルジェスチャー認識システムを紹介します。
複数の参加者を使用してソーシャルジェスチャーデータセットを構築し、分類のために時間的機能を抽出しました。
ヒューマノイドロボットで触覚データを収集することにより、当社のシステムは人間のロボットソーシャルタッチに関する洞察を提供し、ファブリックベースのセンサーの使用が、より自然で効果的なコミュニケーションのためにSPHRIシステムの開発を進める潜在的な方法である可能性があることを示しています。

要約(オリジナル)

Humans are able to convey different messages using only touch. Equipping robots with the ability to understand social touch adds another modality in which humans and robots can communicate. In this paper, we present a social gesture recognition system using a fabric-based, large-scale tactile sensor placed onto the arms of a humanoid robot. We built a social gesture dataset using multiple participants and extracted temporal features for classification. By collecting tactile data on a humanoid robot, our system provides insights into human-robot social touch, and displays that the use of fabric based sensors could be a potential way of advancing the development of spHRI systems for more natural and effective communication.

arxiv情報

著者 Dakarai Crowder,Kojo Vandyck,Xiping Sun,James McCann,Wenzhen Yuan
発行日 2025-03-21 16:50:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Social Gesture Recognition in spHRI: Leveraging Fabric-Based Tactile Sensing on Humanoid Robots はコメントを受け付けていません

Strategic Decision-Making in Multi-Agent Domains: A Weighted Constrained Potential Dynamic Game Approach

投稿日: 2025年3月24日 作成者: jarxiv

要約

インタラクティブなマルチエージェント設定では、主にエージェントの相互接続された目標により、意思決定と計画は挑戦的です。
ダイナミックゲーム理論は、このような複雑さを分析するための正式なフレームワークを提供します。
しかし、制約された動的ゲームを解決し、一般化されたナッシュ平衡（GNE）の形で相互作用の結果を決定することは、制約された結合された最適な制御問題を解決する必要があるため、計算上の課題を引き起こします。
この論文では、多くの現実世界のマルチエージェント相互作用の特別な構造を活用することを提案することにより、この課題に対処します。
より具体的には、私たちの重要なアイデアは、潜在的な関数を最小限に抑えることに関連する単一の制約された最適な制御問題を解決することによってGNEが見つかるゲームである制約付きの動的潜在的なゲームを活用することです。
制約された動的潜在的なゲームは、多くのマルチエージェント相互作用におけるインタラクティブな意思決定を効果的に促進できると主張します。
現実的なマルチエージェントインタラクティブシナリオの構造を特定します。これは、加重制約のある潜在的な動的ゲーム（WCPDG）に変換できます。
結果のWCPDGのGNEが、単一の制約された最適な制御問題を解決することにより、取得できることを示します。
さまざまなシミュレーション研究を通じて提案された方法の有効性を実証し、最先端のゲームソルバーと比較して、解決時間の大幅な改善を達成することを示します。
さらに、2人の人間との衝突を避けながら、厳格なオブジェクトを運ぶ2つの四角体を含むナビゲーションセットアップで提案された方法の実験的検証を提供します。

要約(オリジナル)

In interactive multi-agent settings, decision-making and planning are challenging mainly due to the agents’ interconnected objectives. Dynamic game theory offers a formal framework for analyzing such intricacies. Yet, solving constrained dynamic games and determining the interaction outcome in the form of generalized Nash Equilibria (GNE) pose computational challenges due to the need for solving constrained coupled optimal control problems. In this paper, we address this challenge by proposing to leverage the special structure of many real-world multi-agent interactions. More specifically, our key idea is to leverage constrained dynamic potential games, which are games for which GNE can be found by solving a single constrained optimal control problem associated with minimizing the potential function. We argue that constrained dynamic potential games can effectively facilitate interactive decision-making in many multi-agent interactions. We will identify structures in realistic multi-agent interactive scenarios that can be transformed into weighted constrained potential dynamic games (WCPDGs). We will show that the GNE of the resulting WCPDG can be obtained by solving a single constrained optimal control problem. We will demonstrate the effectiveness of the proposed method through various simulation studies and show that we achieve significant improvements in solve time compared to state-of-the-art game solvers. We further provide experimental validation of our proposed method in a navigation setup involving two quadrotors carrying a rigid object while avoiding collisions with two humans.

arxiv情報

著者 Maulik Bhatt,Yixuan Jia,Negar Mehr
発行日 2025-03-21 17:36:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Strategic Decision-Making in Multi-Agent Domains: A Weighted Constrained Potential Dynamic Game Approach はコメントを受け付けていません

MultiNash-PF: A Particle Filtering Approach for Computing Multiple Local Generalized Nash Equilibria in Trajectory Games

投稿日: 2025年3月24日 作成者: jarxiv

要約

最新のロボットシステムは、複雑なマルチエージェント相互作用に頻繁に関与します。その多くは本質的にマルチモーダルであり、複数の異なる結果につながる可能性があります。
効果的に対話するには、ロボットは考えられる相互作用モードを認識し、他のエージェントが好むものに適応する必要があります。
この作業では、マルチエージェント相互作用におけるマルチモダリティをキャプチャするための効率的なアルゴリズムを提案します。
ゲーム理論プランナーを活用して相互作用の結果を平衡としてモデル化し、\ emph {各平衡}は明確な相互作用\ emph {mode}に対応します。
次に、効率的なアルゴリズムを開発してすべての平衡を識別し、ロボットが複数の相互作用モードについて推論できるようにします。
より具体的には、ゲームのローカル一般化ナッシュ平衡（GNES）による制約された潜在的な軌跡ゲーム（CPTG）およびモデル相互作用の結果としてインタラクティブな計画を策定します。
CPTGは、潜在的な関数が最小化される単一の制約された最適な制御問題を解決することにより、ローカルGNEを見つけることができるゲームのクラスです。
潜在的なゲームアプローチを、非凸軌道最適化のためのサンプル効率の高い方法である暗黙の粒子フィルタリングと統合することを提案します。
暗黙の粒子フィルタリングを利用して、ゲームの潜在的な関数の複数の局所ミニマイザーの粗い推定値を識別します。
Multinash-PFは、これらの推定値を最適化ソルバーで改良し、異なるローカルGNEを取得します。
数値シミュレーションを通じて、Multinash-PFがベースラインと比較して計算時間を最大50 \％削減することを示します。
さらに、実際の人間とロボットの相互作用シナリオにおけるアルゴリズムの有効性を実証します。ここでは、相互作用のマルチモーダル性を占め、潜在的な対立をリアルタイムで解決します。

要約(オリジナル)

Modern robotic systems frequently engage in complex multi-agent interactions, many of which are inherently multi-modal, meaning they can lead to multiple distinct outcomes. To interact effectively, robots must recognize the possible interaction modes and adapt to the one preferred by other agents. In this work, we propose an efficient algorithm for capturing the multimodality in multi-agent interactions. We leverage a game-theoretic planner to model interaction outcomes as equilibria where \emph{each equilibrium} corresponds to a distinct interaction \emph{mode}. We then develop an efficient algorithm to identify all the equilibria, allowing robots to reason about multiple interaction modes. More specifically, we formulate interactive planning as Constrained Potential Trajectory Games (CPTGs) and model interaction outcomes by local Generalized Nash equilibria (GNEs) of the game. CPTGs are a class of games for which a local GNE can be found by solving a single constrained optimal control problem where a potential function is minimized. We propose to integrate the potential game approach with implicit particle filtering, a sample-efficient method for non-convex trajectory optimization. We utilize implicit particle filtering to identify the coarse estimates of multiple local minimizers of the game’s potential function. MultiNash-PF then refines these estimates with optimization solvers, obtaining different local GNEs. We show through numerical simulations that MultiNash-PF reduces computation time by up to 50\% compared to a baseline. We further demonstrate the effectiveness of our algorithm in real-world human-robot interaction scenarios, where it successfully accounts for the multi-modal nature of interactions and resolves potential conflicts in real-time.

arxiv情報

著者 Maulik Bhatt,Iman Askari,Yue Yu,Ufuk Topcu,Huazhen Fang,Negar Mehr
発行日 2025-03-21 17:46:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | MultiNash-PF: A Particle Filtering Approach for Computing Multiple Local Generalized Nash Equilibria in Trajectory Games はコメントを受け付けていません

Principal Eigenvalue Regularization for Improved Worst-Class Certified Robustness of Smoothed Classifiers

投稿日: 2025年3月24日 作成者: jarxiv

要約

最近の研究では、「堅牢な公平性」として知られる深いニューラルネットワーク（DNNS）における重大な課題が特定されており、モデルは異なるクラスで堅牢な精度で有意な格差を示しています。
以前の研究では、この問題に敵対的な堅牢性に対処しようとしましたが、平滑化された分類器に対する最悪の認定堅牢性の研究は未開拓のままです。
私たちの仕事は、平滑化された分類器の最悪のクラスのエラーに縛られたPACベイジアンを開発することにより、このギャップを橋渡しします。
理論分析を通じて、滑らかな混乱マトリックスの最大の固有値が、平滑化された分類器の最悪のクラスエラーに根本的に影響することを実証します。
この洞察に基づいて、平滑化された混乱マトリックスの最大の固有値を最適化して、平滑化された分類器の最悪のクラスの精度を高め、最悪のクラスの認定堅牢性をさらに向上させる正規化方法を導入します。
複数のデータセットとモデルアーキテクチャで広範な実験的検証を提供して、アプローチの有効性を実証します。

要約(オリジナル)

Recent studies have identified a critical challenge in deep neural networks (DNNs) known as “robust fairness’, where models exhibit significant disparities in robust accuracy across different classes. While prior work has attempted to address this issue in adversarial robustness, the study of worst-class certified robustness for smoothed classifiers remains unexplored. Our work bridges this gap by developing a PAC-Bayesian bound for the worst-class error of smoothed classifiers. Through theoretical analysis, we demonstrate that the largest eigenvalue of the smoothed confusion matrix fundamentally influences the worst-class error of smoothed classifiers. Based on this insight, we introduce a regularization method that optimizes the largest eigenvalue of smoothed confusion matrix to enhance worst-class accuracy of the smoothed classifier and further improve its worst-class certified robustness. We provide extensive experimental validation across multiple datasets and model architectures to demonstrate the effectiveness of our approach.

arxiv情報

著者 Gaojie Jin,Tianjin Huang,Ronghui Mu,Xiaowei Huang
発行日 2025-03-21 14:18:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Principal Eigenvalue Regularization for Improved Worst-Class Certified Robustness of Smoothed Classifiers はコメントを受け付けていません

Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability

投稿日: 2025年3月24日 作成者: jarxiv

要約

機械学習（ML）分類モデルが、敵対的な攻撃として知られる小規模なターゲットを絞った入力摂動に抵抗する能力は、安全性と信頼性の重要な尺度です。
GPUでの非同期並列プログラミングと組み合わせたフローティングポイントの非関連性（FPNA）が、入力に摂動することなく、誤分類を引き起こすのに十分であることを示します。
さらに、この誤分類は、決定境界に近い入力で特に重要であり、機械レベルの詳細を考慮しないと標準的な敵対的堅牢性の結果が最大4.6％を過大評価する可能性があることを示しています。
標準のグラフニューラルネットワーク（GNN）アーキテクチャとデータセットに焦点を当てる前に、最初に線形分類器を研究します。
ベイジアンの最適化を使用して新しいブラックボックス攻撃を提示し、GPUの削減の出力にバイアスし、確実に誤分類につながる外部ワークロードを決定します。
これらの結果に動機付けられて、新しい学習可能な順列（LP）勾配ベースのアプローチを提示し、誤分類につながる浮動小数点操作の順序を学習し、削減または順列の順序が可能であると仮定します。
このLPアプローチは、最悪のケースの推定値を計算効率的な方法で提供し、潜在的に大きなGPU状態またはアーキテクチャのセットで数万回同一の実験を実行する必要性を回避します。
最後に、3つの条件下での削減のために、異なるGPUアーキテクチャ間の並列削減順序を調査します。（1）外部バックグラウンドワークロードの実行、（2）マルチGPU仮想化を利用し、（3）電源キャッピングを適用します。
我々の結果は、並列減少の順序が最初の2つの条件下でアーキテクチャによって大きく異なることを示しています。
ここで開発された結果と方法は、敵対的な堅牢性評価に機械レベルの考慮事項を含めるのに役立ちます。

要約(オリジナル)

The ability of machine learning (ML) classification models to resist small, targeted input perturbations – known as adversarial attacks – is a key measure of their safety and reliability. We show that floating-point non associativity (FPNA) coupled with asynchronous parallel programming on GPUs is sufficient to result in misclassification, without any perturbation to the input. Additionally, we show this misclassification is particularly significant for inputs close to the decision boundary and that standard adversarial robustness results may be overestimated up to 4.6% when not considering machine-level details. We first study a linear classifier, before focusing on standard Graph Neural Network (GNN) architectures and datasets. We present a novel black-box attack using Bayesian optimization to determine external workloads that bias the output of reductions on GPUs and reliably lead to misclassification. Motivated by these results, we present a new learnable permutation (LP) gradient-based approach, to learn floating point operation orderings that lead to misclassifications, making the assumption that any reduction or permutation ordering is possible. This LP approach provides a worst-case estimate in a computationally efficient manner, avoiding the need to run identical experiments tens of thousands of times over a potentially large set of possible GPU states or architectures. Finally, we investigate parallel reduction ordering across different GPU architectures for a reduction under three conditions: (1) executing external background workloads, (2) utilizing multi-GPU virtualization, and (3) applying power capping. Our results demonstrate that parallel reduction ordering varies significantly across architectures under the first two conditions. The results and methods developed here can help to include machine-level considerations into adversarial robustness assessments.

arxiv情報

著者 Sanjif Shanmugavelu,Mathieu Taillefumier,Christopher Culver,Vijay Ganesh,Oscar Hernandez,Ada Sedova
発行日 2025-03-21 14:19:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG, I.2.11 | Robustness of deep learning classification to adversarial input on GPUs: asynchronous parallel accumulation is a source of vulnerability はコメントを受け付けていません

Curriculum RL meets Monte Carlo Planning: Optimization of a Real World Container Management Problem

投稿日: 2025年3月24日 作成者: jarxiv

要約

この作業では、処理能力が限られている廃棄物ソーティング施設で安全で効率的なコンテナ管理を確保するために、推論時間衝突モデルで補強学習を強化します。
各コンテナには、オーバーフローリスクに対してより高いスループットをトレードオフする2つの最適な排出量があります。
従来の強化学習（RL）は、遅延した報酬、まばらな重要なイベント、高次元の不確実性の下で闘争に近づきます。
これらの課題に対処するために、（1）遅延した報酬とクラスの不均衡を処理するためにPPOエージェントを段階的にトレーニングするカリキュラム学習パイプライン、および（2）推測時間に使用されるオフラインのペア衝突モデルを最小限のオンラインコストで積極的に回避するために使用されるオフラインのペア衝突モデルを構成するハイブリッド方法を提案します。
実験結果は、ターゲットを絞った推論時間衝突チェックが衝突回避を大幅に改善し、安全性制限違反を減らし、高いスループットを維持し、さまざまなコンテナとPUの比率で効果的にスケーリングすることを示しています。
これらの調査結果は、実際の施設で安全で効率的なコンテナ管理システムを設計するための実用的なガイドラインを提供します。

要約(オリジナル)

In this work, we augment reinforcement learning with an inference-time collision model to ensure safe and efficient container management in a waste-sorting facility with limited processing capacity. Each container has two optimal emptying volumes that trade off higher throughput against overflow risk. Conventional reinforcement learning (RL) approaches struggle under delayed rewards, sparse critical events, and high-dimensional uncertainty — failing to consistently balance higher-volume empties with the risk of safety-limit violations. To address these challenges, we propose a hybrid method comprising: (1) a curriculum-learning pipeline that incrementally trains a PPO agent to handle delayed rewards and class imbalance, and (2) an offline pairwise collision model used at inference time to proactively avert collisions with minimal online cost. Experimental results show that our targeted inference-time collision checks significantly improve collision avoidance, reduce safety-limit violations, maintain high throughput, and scale effectively across varying container-to-PU ratios. These findings offer actionable guidelines for designing safe and efficient container-management systems in real-world facilities.

arxiv情報

著者 Abhijeet Pendyala,Tobias Glasmachers
発行日 2025-03-21 14:43:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Curriculum RL meets Monte Carlo Planning: Optimization of a Real World Container Management Problem はコメントを受け付けていません

Sparse PCA With Multiple Components

投稿日: 2025年3月24日 作成者: jarxiv

要約

スパース主成分分析（SPCA）は、高次元データセットの分散を解釈可能な方法で説明する、機能、または主成分（PC）の組み合わせを取得するための基本的な手法です。
これには、スパース性と直交の制約のある凸最大化問題を解決することが含まれます。これは非常に計算的に困難です。
ほとんどの既存の作業は、1つのスパースPCを繰り返し計算し、共分散行列をデフレットするように、方法などを介してスパースPCAに対処します。
直交条件をランクの制約として再定式化し、スパース性とランクの制約を同時に最適化することにより、このステータスに挑戦します。
高品質の上限を供給するために、緊密な半定型緩和を設計します。これは、各PCの個々のスパースが指定されている場合に、追加の2次円円錐の不平等を介して強化します。
さらに、サポートの関数として説明されている最大分散量の組み合わせ上限を導き出します。
これらのリラクゼーションと境界を活用して、P = 100または1000sの機能とR \ in {2、3}コンポーネントを持つ実際のデータセットで、0％-15％の範囲でバウンドギャップを持つソリューションを併用する正確な方法と丸めメカニズムを提案します。
数値的には、アルゴリズムは、まばらで直交するPCを説明し、体系的に返す分散の割合の点で、最高のパフォーマンスの方法と一致します（時には上回ります）。
対照的に、DEFLATIONのような既存のメソッドは、まばらな直交PCに従ってデータが生成された場合でも、直交の制約に違反するソリューションを返すことができます。
全体として、私たちのアプローチは、複数のコンポーネントを備えたまばらなPCAの問題を、実質的に扱いやすい方法で認証可能な（近い）最適性を解決します。

要約(オリジナル)

Sparse Principal Component Analysis (sPCA) is a cardinal technique for obtaining combinations of features, or principal components (PCs), that explain the variance of high-dimensional datasets in an interpretable manner. This involves solving a sparsity and orthogonality constrained convex maximization problem, which is extremely computationally challenging. Most existing works address sparse PCA via methods-such as iteratively computing one sparse PC and deflating the covariance matrix-that do not guarantee the orthogonality, let alone the optimality, of the resulting solution when we seek multiple mutually orthogonal PCs. We challenge this status by reformulating the orthogonality conditions as rank constraints and optimizing over the sparsity and rank constraints simultaneously. We design tight semidefinite relaxations to supply high-quality upper bounds, which we strengthen via additional second-order cone inequalities when each PC’s individual sparsity is specified. Further, we derive a combinatorial upper bound on the maximum amount of variance explained as a function of the support. We exploit these relaxations and bounds to propose exact methods and rounding mechanisms that, together, obtain solutions with a bound gap on the order of 0%-15% for real-world datasets with p = 100s or 1000s of features and r \in {2, 3} components. Numerically, our algorithms match (and sometimes surpass) the best performing methods in terms of fraction of variance explained and systematically return PCs that are sparse and orthogonal. In contrast, we find that existing methods like deflation return solutions that violate the orthogonality constraints, even when the data is generated according to sparse orthogonal PCs. Altogether, our approach solves sparse PCA problems with multiple components to certifiable (near) optimality in a practically tractable fashion.

arxiv情報

著者 Ryan Cory-Wright,Jean Pauphilet
発行日 2025-03-21 14:52:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, math.ST, stat.ML, stat.TH | Sparse PCA With Multiple Components はコメントを受け付けていません

Contraction Theory for Nonlinear Stability Analysis and Learning-based Control: A Tutorial Overview

投稿日: 2025年3月24日 作成者: jarxiv

要約

収縮理論は、均一に正の明確なマトリックスで定義された収縮メトリックの下で、非自律的な（すなわち、時変）非線形システムの微分ダイナミクスを研究するための分析ツールであり、その存在は、その存在が、それ以外の場合に複数の溶液軌跡の増分指数安定性の必要かつ十分な特性評価をもたらします。
四方の微分長をリアプノフ様関数として使用することにより、その非線形安定性分析は、線形マトリックスの不等式として表される安定性条件を満たす適切な収縮メトリックを見つけることに煮詰め、多くの類似点がよく知られている線形系理論と非線形系の縮小理論の間に描画できることを示します。
さらに、収縮理論は、比較補題と組み合わせて使用​​される指数関数的安定性の優れた堅牢性を活用します。
これにより、入力間の安定性のために均一な漸近安定性を使用するより複雑な方法に頼ることなく、ニューラルネットワークベースの制御および推定スキームの非常に必要な安全性と安定性保証が得られます。
このような特徴的な特徴により、凸最適化を介して収縮メトリックの体系的な構築が可能になり、それにより、障害と学習エラーのために外部的に摂動する時変ターゲット軌道と溶液の軌跡の間の距離に明示的な指数関数的結合が得られます。
したがって、このペーパーの目的は、さまざまな学習ベースおよびデータ駆動型の自動制御方法の正式な堅牢性と安定性保証を導き出すことに重点を置いて、収縮理論のチュートリアルの概要と、決定論的および確率的システムの非線形安定性分析におけるその利点を示すことです。
特に、ディープニューラルネットワークを使用して収縮メトリックと関連する制御および推定法を見つけるための手法の詳細なレビューを提供します。

要約(オリジナル)

Contraction theory is an analytical tool to study differential dynamics of a non-autonomous (i.e., time-varying) nonlinear system under a contraction metric defined with a uniformly positive definite matrix, the existence of which results in a necessary and sufficient characterization of incremental exponential stability of multiple solution trajectories with respect to each other. By using a squared differential length as a Lyapunov-like function, its nonlinear stability analysis boils down to finding a suitable contraction metric that satisfies a stability condition expressed as a linear matrix inequality, indicating that many parallels can be drawn between well-known linear systems theory and contraction theory for nonlinear systems. Furthermore, contraction theory takes advantage of a superior robustness property of exponential stability used in conjunction with the comparison lemma. This yields much-needed safety and stability guarantees for neural network-based control and estimation schemes, without resorting to a more involved method of using uniform asymptotic stability for input-to-state stability. Such distinctive features permit the systematic construction of a contraction metric via convex optimization, thereby obtaining an explicit exponential bound on the distance between a time-varying target trajectory and solution trajectories perturbed externally due to disturbances and learning errors. The objective of this paper is, therefore, to present a tutorial overview of contraction theory and its advantages in nonlinear stability analysis of deterministic and stochastic systems, with an emphasis on deriving formal robustness and stability guarantees for various learning-based and data-driven automatic control methods. In particular, we provide a detailed review of techniques for finding contraction metrics and associated control and estimation laws using deep neural networks.

arxiv情報

著者 Hiroyasu Tsukamoto,Soon-Jo Chung,Jean-Jacques E. Slotine
発行日 2025-03-21 15:00:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY, math.OC | Contraction Theory for Nonlinear Stability Analysis and Learning-based Control: A Tutorial Overview はコメントを受け付けていません