EL-AGHF: Extended Lagrangian Affine Geometric Heat Flow

投稿日: 2025年6月2日 作成者: jarxiv

要約

容認できない制御方向に関連するダイナミクスギャップを抑制するように進化する制約されたアフィン幾何学的熱流（AGHF）方法を提案します。
AGHFは、ホロノミックシステムと非ホロノミックシステムの両方を含む、幅広いモーション計画の問題に適用可能な統一されたフレームワークを提供します。
ただし、許容可能な軌跡を生成するには、容認できない制御方向に無限の罰則を割り当てる必要があります。
この設計の選択は、理論的には有効ですが、ペナルティが過度に大きくなると高い計算コストまたは数値の不安定性につながります。
この制限を克服するために、容認できない制御方向のダイナミクスギャップに関連する二重軌道を導入することにより、AGHFを強化されたラグランジアン法アプローチで拡張します。
この方法は、状態と二重軌道の両方で定義された拡張された放物線の部分微分方程式として、制約された変動問題を解決し、結果として生じる軌跡の許容性を確保します。
シミュレーションの例を使用して、アルゴリズムの有効性を示します。

要約(オリジナル)

We propose a constrained Affine Geometric Heat Flow (AGHF) method that evolves so as to suppress the dynamics gaps associated with inadmissible control directions. AGHF provides a unified framework applicable to a wide range of motion planning problems, including both holonomic and non-holonomic systems. However, to generate admissible trajectories, it requires assigning infinite penalties to inadmissible control directions. This design choice, while theoretically valid, often leads to high computational cost or numerical instability when the penalty becomes excessively large. To overcome this limitation, we extend AGHF in an Augmented Lagrangian method approach by introducing a dual trajectory related to dynamics gaps in inadmissible control directions. This method solves the constrained variational problem as an extended parabolic partial differential equation defined over both the state and dual trajectorys, ensuring the admissibility of the resulting trajectory. We demonstrate the effectiveness of our algorithm through simulation examples.

arxiv情報

著者 Sangmin Kim,Hae-Won Park
発行日 2025-05-30 16:12:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | EL-AGHF: Extended Lagrangian Affine Geometric Heat Flow はコメントを受け付けていません

Image-Based Roadmaps for Vision-Only Planning and Control of Robotic Manipulators

投稿日: 2025年6月2日 作成者: jarxiv

要約

この作業は、画像空間で衝突のないパスを直接計算するロボットマニピュレーターのモーション計画フレームワークを提示します。
生成されたパスは、ビジョンベースのコントロールを使用して追跡でき、明示的なロボットモデルまたは固有受容センシングの必要性を排除できます。
私たちのアプローチの中核は、完全に画像空間にロードマップを構築することです。
これを達成するために、幾何学的モデルではなく視覚的な機能に基づいて、サンプリング、最近傍選択、および衝突チェックを明示的に定義します。
最初に、ロボットをワークスペース内に移動し、異なる構成でボディに沿ってキーポイントをキャプチャすることにより、最初に一連の画像スペースサンプルを収集します。
これらのサンプルは、ロードマップ内のノードとして機能します。これは、学習または事前定義された距離メトリックのいずれかを使用して構築します。
実行時に、ロードマップは画像スペースに直接衝突のないパスを生成し、ロボットモデルまたはジョイントエンコーダーの必要性を削除します。
障害物を避けるために、適応型ビジョンベースの制御スキームを使用して、ロボットアームが計画されたパスに従う実験的研究を通じてアプローチを検証します。
結果は、学習距離ロードマップで生成されたパスがコントロール収束で100％の成功を達成したのに対し、事前定義された画像空間距離ロードマップはより速い過渡応答を有効にしたが、収束の成功率が低いことを示しています。

要約(オリジナル)

This work presents a motion planning framework for robotic manipulators that computes collision-free paths directly in image space. The generated paths can then be tracked using vision-based control, eliminating the need for an explicit robot model or proprioceptive sensing. At the core of our approach is the construction of a roadmap entirely in image space. To achieve this, we explicitly define sampling, nearest-neighbor selection, and collision checking based on visual features rather than geometric models. We first collect a set of image-space samples by moving the robot within its workspace, capturing keypoints along its body at different configurations. These samples serve as nodes in the roadmap, which we construct using either learned or predefined distance metrics. At runtime, the roadmap generates collision-free paths directly in image space, removing the need for a robot model or joint encoders. We validate our approach through an experimental study in which a robotic arm follows planned paths using an adaptive vision-based control scheme to avoid obstacles. The results show that paths generated with the learned-distance roadmap achieved 100% success in control convergence, whereas the predefined image-space distance roadmap enabled faster transient responses but had a lower success rate in convergence.

arxiv情報

著者 Sreejani Chatterjee,Abhinav Gandhi,Berk Calli,Constantinos Chamzas
発行日 2025-05-30 17:57:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Image-Based Roadmaps for Vision-Only Planning and Control of Robotic Manipulators はコメントを受け付けていません

PB&J: Peanut Butter and Joints for Damped Articulation

投稿日: 2025年6月2日 作成者: jarxiv

要約

多くのバイオインスピレーションを受けたロボットは、タスクを把握するために人間の手の剛性のある関節構造を模倣していますが、システムを不安定にし、高周波コントローラーなしで精度に悪影響を与える可能性のある高周波機械的摂動を経験します。
センシングと作動の間で時間の遅延を経験する帯域幅制限コントローラーを持っているにもかかわらず、生物学的システムはこれらの高周波摂動にうまく対応し、緩和することができます。
人間の関節には、多くの剛性のあるバイオインスパイアリングされたハンドロボットに欠けている減衰と剛性が含まれます。
研究者が関節制御における関節粘弾性の効果を探ることができるようにするために、私たちは、新規ロボットシステムのプロトタイピングの経済的および環境的影響を減らすために、アクセシブルで生物化された材料を利用する粘弾性構造を備えた人間の手で触発された握るロボットを開発しました。
球体の安全な把握を可能にする同時屈曲を実現するには、指の関節の弾性要素が必要であることを実証します。
製造された指の関節を大幅に減衰させるために、ピーナッツバターを有機アナログジョイント作動液として使用して、ロータリーダンパーをモデル化、製造、特徴づけました。
最後に、リアルタイムのポジションベースのコントローラーを使用して、軽量化するボールを正常にキャッチできることを実証しました。
私たちは、人間の手の形態学的および機械的特性を抽象化するこのオープンソースの低コストの把握プラットフォームを開発し、研究者がシミュレーションやモデリングでテストするのが難しいロボトの生体力学に関する質問を探求できるようにしました。

要約(オリジナル)

Many bioinspired robots mimic the rigid articulated joint structure of the human hand for grasping tasks, but experience high-frequency mechanical perturbations that can destabilize the system and negatively affect precision without a high-frequency controller. Despite having bandwidth-limited controllers that experience time delays between sensing and actuation, biological systems can respond successfully to and mitigate these high-frequency perturbations. Human joints include damping and stiffness that many rigid articulated bioinspired hand robots lack. To enable researchers to explore the effects of joint viscoelasticity in joint control, we developed a human-hand-inspired grasping robot with viscoelastic structures that utilizes accessible and bioderived materials to reduce the economic and environmental impact of prototyping novel robotic systems. We demonstrate that an elastic element at the finger joints is necessary to achieve concurrent flexion, which enables secure grasping of spherical objects. To significantly damp the manufactured finger joints, we modeled, manufactured, and characterized rotary dampers using peanut butter as an organic analog joint working fluid. Finally, we demonstrated that a real-time position-based controller could be used to successfully catch a lightweight falling ball. We developed this open-source, low-cost grasping platform that abstracts the morphological and mechanical properties of the human hand to enable researchers to explore questions about biomechanics in roboto that would otherwise be difficult to test in simulation or modeling.

arxiv情報

著者 Avery S. Williamson,Michael J. Bennington,Ravesh Sukhnandan,Mrinali Nakhre,Yuemin Mao,Victoria A. Webster-Wood
発行日 2025-05-30 17:57:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | PB&J: Peanut Butter and Joints for Damped Articulation はコメントを受け付けていません

Robust Distributed Estimation: Extending Gossip Algorithms to Ranking and Trimmed Means

投稿日: 2025年6月2日 作成者: jarxiv

要約

この論文では、任意の通信グラフ上のゴシップアルゴリズムの堅牢な推定の問題に対処します。
ゴシップアルゴリズムは完全に分散化されており、地元の隣人から隣人のコミュニケーションにのみ依存しているため、コミュニケーションが制約されている状況に適しています。
既存の平均ベースのゴシップアルゴリズムの基本的な課題は、悪意のあるノードまたは破損したノードに対する脆弱性です。
この論文では、堅牢な統計をグローバルに推定することにより、外れ値の頑丈な平均を計算できることを示します。
より具体的には、\ textsc {gorank}と呼ばれるランク推定のための新しいゴシップアルゴリズムを提案し、それを活用して、\ textsc {gotrim}を作成した平均推定をトリミングしたゴシップ手順を設計します。
提案された方法の詳細な説明に加えて、私たちの作業の重要な貢献は正確な収束分析です。ランク推定のために$ \ mathcal {o}（1/t）$レートを確立し、$ \ mathcal {o}（\ log（t）/t）$ $ reate for trimmed平均推定で、$ t $はiteminationの数を意味します。
さらに、\ textsc {gotrim}の分解点分析を提供します。
多様なネットワークトポロジ、データ分布、汚染スキームに関する実験を通じて、理論的結果を経験的に検証します。

要約(オリジナル)

This paper addresses the problem of robust estimation in gossip algorithms over arbitrary communication graphs. Gossip algorithms are fully decentralized, relying only on local neighbor-to-neighbor communication, making them well-suited for situations where communication is constrained. A fundamental challenge in existing mean-based gossip algorithms is their vulnerability to malicious or corrupted nodes. In this paper, we show that an outlier-robust mean can be computed by globally estimating a robust statistic. More specifically, we propose a novel gossip algorithm for rank estimation, referred to as \textsc{GoRank}, and leverage it to design a gossip procedure dedicated to trimmed mean estimation, coined \textsc{GoTrim}. In addition to a detailed description of the proposed methods, a key contribution of our work is a precise convergence analysis: we establish an $\mathcal{O}(1/t)$ rate for rank estimation and an $\mathcal{O}(\log(t)/t)$ rate for trimmed mean estimation, where by $t$ is meant the number of iterations. Moreover, we provide a breakdown point analysis of \textsc{GoTrim}. We empirically validate our theoretical results through experiments on diverse network topologies, data distributions and contamination schemes.

arxiv情報

著者 Anna Van Elst,Igor Colin,Stephan Clémençon
発行日 2025-05-30 16:07:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.ML | Robust Distributed Estimation: Extending Gossip Algorithms to Ranking and Trimmed Means はコメントを受け付けていません

M-learner:A Flexible And Powerful Framework To Study Heterogeneous Treatment Effect In Mediation Model

投稿日: 2025年6月2日 作成者: jarxiv

要約

不均一な間接的および総治療効果を推定し、調停フレームワーク内で関連するサブグループを識別するためのM-Learnerと呼ばれる新しい方法を提案します。
この手順は、4つの重要なステップで構成されています。
まず、個人レベルの条件付き平均間接/総治療効果を計算し、ペアワイズの違いに基づいて距離マトリックスを構築します。
第三に、TSNEを適用して、このマトリックスを低次元のユークリッド空間に投影し、その後K-meansクラスタリングを行い、サブグループ構造を識別します。
最後に、しきい値ベースの手順を使用してクラスターを調整して改良し、最適な構成を決定します。
私たちの知る限り、これは調停の存在下で治療効果の不均一性を捉えるために特別に設計された最初のアプローチです。
実験結果は、提案されたフレームワークの堅牢性と有効性を検証します。
現実世界のジョブへのアプリケーションIIデータセットは、メソッドの幅広い適応性と潜在的な適用性を強調しています。コードはhttps：//anonymous.4open.science/r/m-learner-c4bbで入手できます。

要約(オリジナル)

We propose a novel method, termed the M-learner, for estimating heterogeneous indirect and total treatment effects and identifying relevant subgroups within a mediation framework. The procedure comprises four key steps. First, we compute individual-level conditional average indirect/total treatment effect Second, we construct a distance matrix based on pairwise differences. Third, we apply tSNE to project this matrix into a low-dimensional Euclidean space, followed by K-means clustering to identify subgroup structures. Finally, we calibrate and refine the clusters using a threshold-based procedure to determine the optimal configuration. To the best of our knowledge, this is the first approach specifically designed to capture treatment effect heterogeneity in the presence of mediation. Experimental results validate the robustness and effectiveness of the proposed framework. Application to the real-world Jobs II dataset highlights the broad adaptability and potential applicability of our method.Code is available at https: //anonymous.4open.science/r/M-learner-C4BB.

arxiv情報

著者 Xingyu Li,Qing Liu,Tony Jiang,Hong Amy Xia,Brian P. Hobbs,Peng Wei
発行日 2025-05-30 16:14:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ME, stat.ML | M-learner:A Flexible And Powerful Framework To Study Heterogeneous Treatment Effect In Mediation Model はコメントを受け付けていません

IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic

投稿日: 2025年6月2日 作成者: jarxiv

要約

このペーパーでは、模倣学習のためのSOARフレームワークを紹介します。
SOARは、コストとポリシーの更新を交互にするプライマルデュアルスタイルアルゴリズムを使用して、専門家のデモンストレーションからポリシーを学習するアルゴリズムテンプレートです。
ポリシーの更新内で、Soar Frameworkは、複数の批評家と俳優批評家の方法を使用して、批評家の不確実性を推定し、探索を推進するための楽観的な批評家の基本を構築します。
表形式の設定にインスタンス化されると、$ \ epsilon $の最もよく知られている結果と一致する保証を含む証明可能なアルゴリズムが得られます。
実際には、SOARテンプレートは、いくつかのMujoco環境でF-IRL、ML-IRL、CSILなどのソフト俳優評論家に基づいた模倣学習アルゴリズムのパフォーマンスを一貫して向上させることが示されています。
全体として、SOARのおかげで、同じパフォーマンスを達成するために必要なエピソードの数が半分に削減されます。

要約(オリジナル)

This paper introduces the SOAR framework for imitation learning. SOAR is an algorithmic template that learns a policy from expert demonstrations with a primal dual style algorithm that alternates cost and policy updates. Within the policy updates, the SOAR framework uses an actor critic method with multiple critics to estimate the critic uncertainty and build an optimistic critic fundamental to drive exploration. When instantiated in the tabular setting, we get a provable algorithm with guarantees that matches the best known results in $\epsilon$. Practically, the SOAR template is shown to boost consistently the performance of imitation learning algorithms based on Soft Actor Critic such as f-IRL, ML-IRL and CSIL in several MuJoCo environments. Overall, thanks to SOAR, the required number of episodes to achieve the same performance is reduced by half.

arxiv情報

著者 Stefano Viel,Luca Viano,Volkan Cevher
発行日 2025-05-30 16:16:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | IL-SOAR : Imitation Learning with Soft Optimistic Actor cRitic はコメントを受け付けていません

Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

投稿日: 2025年6月2日 作成者: jarxiv

要約

監視された次元削減は、クラスの識別性を最大化しながら、ラベル付きデータを低次元の特徴空間にマッピングすることを目的としています。
識別性を直接計算することはしばしば非現実的であるため、別のアプローチは、クラス間の距離または非類似性の測定値を最大化する機能を学習することです。
フィッシャーラオ距離は、統計マニホールドの重要な情報ジオメトリ距離です。
これは、神経表現を理解するために広く使用されているツールであるFisher Information Metricによって誘導されます。
その理論的およびプラチックな魅力にもかかわらず、クラス間のフィッシャーラオ距離は、監視された機能学習の最大化目標として使用されていません。
ここでは、対称陽性明確マニホールドの情報ジオメトリを利用することにより、クラス分布間のフィッシャーラオ距離を最大化する線形寸法削減方法である、監視された二次特徴分析（SQFA）を提示します。
SQFAは、1次および2次統計を使用して距離を最大化し、その機能により、実世界のデータセットで最先端の方法を一致または上回る2次識別可能性（QDAパフォーマンス）が可能になります。
フィッシャーラオ距離を2次識別性の代理として理論的に動機付け、そのパフォーマンスを他の一般的な距離（Wasserstein距離など）と比較します。
SQFAは、次元削減のための柔軟な最先端の方法を提供します。
クラス間のフィッシャーラオ距離の使用が成功したことは、将来の研究の方向性を動機付けます。

要約(オリジナル)

Supervised dimensionality reduction aims to map labeled data to a low-dimensional feature space while maximizing class discriminability. Directly computing discriminability is often impractical, so an alternative approach is to learn features that maximize a distance or dissimilarity measure between classes. The Fisher-Rao distance is an important information geometry distance in statistical manifolds. It is induced by the Fisher information metric, a tool widely used for understanding neural representations. Despite its theoretical and pratical appeal, Fisher-Rao distances between classes have not been used as a maximization objective in supervised feature learning. Here, we present Supervised Quadratic Feature Analysis (SQFA), a linear dimensionality reduction method that maximizes Fisher-Rao distances between class distributions, by exploiting the information geometry of the symmetric positive definite manifold. SQFA maximizes distances using first- and second-order statistics, and its features allow for quadratic discriminability (i.e. QDA performance) matching or surpassing state-of-the-art methods on real-world datasets. We theoretically motivate Fisher-Rao distances as a proxy for quadratic discriminability, and compare its performance to other popular distances (e.g. Wasserstein distances). SQFA provides a flexible state-of-the-art method for dimensionality reduction. Its successful use of Fisher-Rao distances between classes motivates future research directions.

arxiv情報

著者 Daniel Herrera-Esposito,Johannes Burge
発行日 2025-05-30 16:27:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DG, math.ST, stat.ML, stat.TH | Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction はコメントを受け付けていません

Generalization Dynamics of Linear Diffusion Models

投稿日: 2025年6月2日 作成者: jarxiv

要約

ターゲット分布から$ N $サンプルで有限データセットで訓練された拡散モデルは、モデルがトレーニングの例を再現し、一般化まで、基礎となるデータ分布を反映した新しいサンプルを生成する一般化までの移行を示します。
この遷移を理解することは、生成モデルのサンプル効率と信頼性を特徴付けるための鍵ですが、この遷移の理論的理解は不完全です。
ここでは、テストエラー、サンプリング分布、およびサンプルとターゲット分布の間のカルバック – ライブラーの発散の明示的な計算を可能にする、線形眼鏡を使用して、単純なモデルでの記憶への記憶への移行を分析的に研究します。
これらのメジャーを使用して、この遷移は、入力の寸法である$ n \ symp d $の場合にほぼ発生すると予測します。
$ n $が入力$ d $の寸法よりも小さい場合、トレーニングデータに関連する変動方向のほんの一部のみが存在する場合、正規化と早期停止の両方が過剰適合を防ぐのに役立つ方法を示します。
$ n> d $の場合、線形拡散モデルのサンプリング分布は、データ分布の詳細とは無関係に、$ d/n $で最適に直線的にそれらの最適（測定）に近づくことがわかります。
私たちの作品は、サンプルの複雑さが、拡散ベースの生成モデルの単純なモデルでの一般化をどのように管理するかを明確にし、線形除去者のトレーニングダイナミクスに関する洞察を提供します。

要約(オリジナル)

Diffusion models trained on finite datasets with $N$ samples from a target distribution exhibit a transition from memorisation, where the model reproduces training examples, to generalisation, where it produces novel samples that reflect the underlying data distribution. Understanding this transition is key to characterising the sample efficiency and reliability of generative models, but our theoretical understanding of this transition is incomplete. Here, we analytically study the memorisation-to-generalisation transition in a simple model using linear denoisers, which allow explicit computation of test errors, sampling distributions, and Kullback-Leibler divergences between samples and target distribution. Using these measures, we predict that this transition occurs roughly when $N \asymp d$, the dimension of the inputs. When $N$ is smaller than the dimension of the inputs $d$, so that only a fraction of relevant directions of variation are present in the training data, we demonstrate how both regularization and early stopping help to prevent overfitting. For $N > d$, we find that the sampling distributions of linear diffusion models approach their optimum (measured by the Kullback-Leibler divergence) linearly with $d/N$, independent of the specifics of the data distribution. Our work clarifies how sample complexity governs generalisation in a simple model of diffusion-based generative models and provides insight into the training dynamics of linear denoisers.

arxiv情報

著者 Claudia Merger,Sebastian Goldt
発行日 2025-05-30 16:31:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cs.LG, math.ST, stat.ML, stat.TH | Generalization Dynamics of Linear Diffusion Models はコメントを受け付けていません

AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption

投稿日: 2025年6月2日 作成者: jarxiv

要約

フェデレーションされた微調整は、分散データを使用して基礎モデルを下流のタスクに適応させる有望なアプローチとして浮上しています。
ただし、不均一で制約されたデータとシステムリソースを備えたクライアントに対する微調整の大規模な言語モデル（LLM）の計算およびコミュニケーションの需要が高いため、実際の展開は依然として困難です。
このような設定では、グローバルモデルのパフォーマンスは、多くの場合、最も弱いクライアントによってボトルネックされており、ローカルデータの非IID性によってさらに劣化します。
既存の方法は、通信と計算のオーバーヘッドを減らすために低ランク適応（LORA）などのパラメーター効率の高い手法を活用していますが、低ランクの更新の正確な集約を保証し、低システムコストを維持し、それによって全体的なパフォーマンスを妨げることがよくあります。
これらの課題に対処するために、LLMSの適応的で軽量のフェデレーション微調整フレームワークであるAfloraを提案します。
Afloraは、共有およびクライアント固有の更新を切り離してオーバーヘッドを削減し、集約精度を向上させ、斜めのマトリックスベースのランクプルーニングを組み込んでローカルリソースをよりよく利用し、データの不均一性の下での一般化を強化するためにパブリックデータの改良を伴うランク認識集合体を採用します。
広範な実験は、Afloraが精度と効率の両方で最先端の方法よりも優れていることを示しており、現実世界の不均一な環境での効率的なLLM適応のための実用的なソリューションを提供します。

要約(オリジナル)

Federated fine-tuning has emerged as a promising approach to adapt foundation models to downstream tasks using decentralized data. However, real-world deployment remains challenging due to the high computational and communication demands of fine-tuning Large Language Models (LLMs) on clients with data and system resources that are heterogeneous and constrained. In such settings, the global model’s performance is often bottlenecked by the weakest clients and further degraded by the non-IID nature of local data. Although existing methods leverage parameter-efficient techniques such as Low-Rank Adaptation (LoRA) to reduce communication and computation overhead, they often fail to simultaneously ensure accurate aggregation of low-rank updates and maintain low system costs, thereby hindering overall performance. To address these challenges, we propose AFLoRA, an adaptive and lightweight federated fine-tuning framework for LLMs. AFLoRA decouples shared and client-specific updates to reduce overhead and improve aggregation accuracy, incorporates diagonal matrix-based rank pruning to better utilize local resources, and employs rank-aware aggregation with public data refinement to strengthen generalization under data heterogeneity. Extensive experiments demonstrate that AFLoRA outperforms state-of-the-art methods in both accuracy and efficiency, providing a practical solution for efficient LLM adaptation in heterogeneous environments in the real world.

arxiv情報

著者 Yajie Zhou,Xiaoyi Pang,Zhibo Wang
発行日 2025-05-30 16:35:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption はコメントを受け付けていません

On Traceability in $\ell_p$ Stochastic Convex Optimization

投稿日: 2025年6月2日 作成者: jarxiv

要約

この論文では、$ \ ell_p $幾何学の下で確率的凸最適化（SCO）における正確な学習のためのトレーサビリティの必要性を調査します。
非公式には、学習アルゴリズムは、その出力を分析することにより、トレーニングサンプルの少なくとも$ M $を識別できる場合、$ M $ traceableであると言います。
私たちの主な結果は、SCOのトレーサビリティと過剰なリスクとの根本的なトレードオフを明らかにしています。
$ p \ in [1、\ infty）$ごとに、すべてのサンプル効率の高い学習者がトレーニングサンプルの一定の部分であるサンプルの数で追跡可能な過剰なリスクしきい値の存在を確立します。
$ p \ in [1,2] $の場合、このしきい値は、差次的にプライベートな（DP）アルゴリズムの最良のリスク、つまりこのしきい値の上に一致します。
$ p \ in（2、\ infty）$の場合、このしきい値は代わりにDP学習の新しい下限を与え、このセットアップでオープンな問題を部分的に閉じます。
これらの結果を確立する途中で、私たちは、コミュニティにとって独立した関心のあるフィンガープリントレマのまばらなバリアントを証明します。

要約(オリジナル)

In this paper, we investigate the necessity of traceability for accurate learning in stochastic convex optimization (SCO) under $\ell_p$ geometries. Informally, we say a learning algorithm is $m$-traceable if, by analyzing its output, it is possible to identify at least $m$ of its training samples. Our main results uncover a fundamental tradeoff between traceability and excess risk in SCO. For every $p\in [1,\infty)$, we establish the existence of an excess risk threshold below which every sample-efficient learner is traceable with the number of samples which is a constant fraction of its training sample. For $p\in [1,2]$, this threshold coincides with the best excess risk of differentially private (DP) algorithms, i.e., above this threshold, there exist algorithms that are not traceable, which corresponds to a sharp phase transition. For $p \in (2,\infty)$, this threshold instead gives novel lower bounds for DP learning, partially closing an open problem in this setup. En route to establishing these results, we prove a sparse variant of the fingerprinting lemma, which is of independent interest to the community.

arxiv情報

著者 Sasha Voitovych,Mahdi Haghifam,Idan Attias,Gintare Karolina Dziugaite,Roi Livni,Daniel M. Roy
発行日 2025-05-30 16:36:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | On Traceability in $\ell_p$ Stochastic Convex Optimization はコメントを受け付けていません