D3-ARM: High-Dynamic, Dexterous and Fully Decoupled Cable-driven Robotic Arm

投稿日: 2025年2月19日 作成者: jarxiv

要約

ケーブルトランスミッションにより、ロボットアームのモーターは、さまざまな環境で軽量および低腸内関節をリモートで動作させることができますが、アームの制御精度とパフォーマンスを低下させる可能性のあるモーションカップリングとケーブルルーティングの問題も作成します。
この論文では、ケーブルを整列させ、モーターの出力を効率的に送信するために、低摩擦を備えた新しいモーションデカップリングメカニズムを提示します。
これらのメカニズムをジョイントに配置することにより、D3-Armと呼ばれる完全に分離された軽量ケーブル駆動のロボットアームをすべての電気成分をベースに製造します。
その776 mmの長さの移動部は、6度の自由度（DOF）とわずか1.6 kgの重量を誇っています。
ケーブルスラックの問題に対処するために、長距離ケーブル伝送の安定性を高めるために、ケーブルプレシンスメカニズムが統合されています。
一連の包括的なテストを通じて、D3-ARMは1.29 mmの平均位置決めエラーと2.0 kgのペイロード容量を示し、ケーブル駆動型ロボットアームにおける提案されたデカップリングメカニズムの実用性を証明しました。

要約(オリジナル)

Cable transmission enables motors of robotic arm to operate lightweight and low-inertia joints remotely in various environments, but it also creates issues with motion coupling and cable routing that can reduce arm’s control precision and performance. In this paper, we present a novel motion decoupling mechanism with low-friction to align the cables and efficiently transmit the motor’s power. By arranging these mechanisms at the joints, we fabricate a fully decoupled and lightweight cable-driven robotic arm called D3-Arm with all the electrical components be placed at the base. Its 776 mm length moving part boasts six degrees of freedom (DOF) and only 1.6 kg weights. To address the issue of cable slack, a cable-pretension mechanism is integrated to enhance the stability of long-distance cable transmission. Through a series of comprehensive tests, D3-Arm demonstrated 1.29 mm average positioning error and 2.0 kg payload capacity, proving the practicality of the proposed decoupling mechanisms in cable-driven robotic arm.

arxiv情報

著者 Hong Luo,Jianle Xu,Shoujie Li,Huayue Liang,Yanbo Chen,Chongkun Xia,Xueqian Wang
発行日 2025-02-18 15:46:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | D3-ARM: High-Dynamic, Dexterous and Fully Decoupled Cable-driven Robotic Arm はコメントを受け付けていません

Power-Efficient Actuation for Insect-Scale Autonomous Underwater Vehicles

投稿日: 2025年2月19日 作成者: jarxiv

要約

わずかなウナギにインスパイアされたロボットの新しい進化、Vleibot ++、2つの10 mgの裸のハイワーク密度（HWD）アクチュエーターが駆動する900 mgのスイマーであり、その機能は形状メモリ合金の使用に基づいています
（SMA）ワイヤ。
このタイプのアクチュエーターは、空中操作中に約40 MWの平均電力を消費します。
カスタムビルドプリント回路基板（PCB）と11-MAH 3.7-V 507-MGシングルセルリチウムイオン（Li-ion）バッテリーを使用して、オンボードパワーと計算をVleibot ++に統合しました。
1回の充電で約20分間。
このロボットは、最大18.7 mm/s（0.46 bl/s）の速度で泳ぐことができ、これまでに開発されたオンボードパワー、作動、および計算を備えた最初のサブグラムマイクロスイマーです。
残念ながら、Vleibot ++プロトタイプを作動させるために採用されたアプローチは、水中のマイクロオクターチュアが典型的な10 mgのベアSMAベースのマイクロオクターチュアを必要とするため、水中での平均電力が必要です。
この問題に対処するために、同様の電力要件（平均して約80 MW）と作動性能（低周波数で約3 mm）で機能できる新しい13mgの電力効率の高い高性能SMAベースのマイクロオクター剤を導入します。
空気と水。
この設計は、熱系の熱伝達速度を受動的に制御する目的で微生物を駆動するSMAワイヤを囲む密閉された柔軟なエアカプセルの使用に基づいています。
さらに、この新しい電力効率の高いカプセル化されたアクチュエーターには、機能するには低電圧の励起（3〜4 V）と単純なパワーエレクトロニクスが必要です。
この論文で提示されたブレークスルーは、昆虫規模の自律水中車両（AUV）の作成への道を表しています。

要約(オリジナル)

We present a new evolution of the Very Little Eel-Inspired roBot, the VLEIBot++, a 900-mg swimmer driven by two 10-mg bare high-work density (HWD) actuators, whose functionality is based on the use of shape-memory alloy (SMA) wires. An actuator of this type consumes an average power of about 40 mW during in-air operation. We integrated onboard power and computation into the VLEIBot++ using a custom-built printed circuit board (PCB) and an 11-mAh 3.7-V 507-mg single-cell lithium-ion (Li-Ion) battery, which in conjunction enable autonomous swimming for about 20 min on a single charge. This robot can swim at speeds of up to 18.7 mm/s (0.46 Bl/s) and is the first subgram microswimmer with onboard power, actuation, and computation developed to date. Unfortunately, the approach employed to actuate VLEIBot++ prototypes is infeasible for underwater applications because a typical 10-mg bare SMA-based microactuator requires an average power on the order of 800 mW when operating underwater. To address this issue, we introduce a new 13-mg power-efficient high-performance SMA-based microactuator that can function with similar power requirements (approx. 80 mW on average) and actuation performance (approx. 3 mm at low frequencies) in air and water. This design is based on the use of a sealed flexible air-capsule that encloses the SMA wires that drive the microactuator with the purpose of passively controlling the heat-transfer rate of the thermal system. Furthermore, this new power-efficient encapsulated actuator requires low voltages of excitation (3 to 4 V) and simple power electronics to function. The breakthroughs presented in this paper represent a path towards the creation of insect-scale autonomous underwater vehicles (AUVs).

arxiv情報

著者 Cody R. Longwell,Conor K. Trygstad,Nestor O. Perez-Arancibia
発行日 2025-02-18 18:05:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Power-Efficient Actuation for Insect-Scale Autonomous Underwater Vehicles はコメントを受け付けていません

Robot Data Curation with Mutual Information Estimators

投稿日: 2025年2月19日 作成者: jarxiv

要約

模倣学習ポリシーのパフォーマンスは、多くの場合、それらが訓練されているデータセットにかかっています。
その結果、ロボット工学のデータ収集への投資は、産業研究所と学術研究所の両方で増加しています。
しかし、収集されたデモンストレーションの量が著しく増加しているにもかかわらず、ビジョンや言語などの他の分野でその重要性の証拠を増やしているにもかかわらず、上記のデータの品質を評価しようとはほとんど求めていません。
この作業では、ロボット工学のデータ品質に対処するための重要な一歩を踏み出します。
デモンストレーションのデータセットを考えると、州の多様性とアクションの予測可能性の両方の観点から、個々のデモンストレーションの相対的な質を推定することを目指しています。
そのために、状態とデータセット全体の行動との相互情報への軌跡の平均貢献を推定します。これは、状態分布のエントロピーと状態条件付きアクションエントロピーの両方を正確に捉えています。
一般的に使用される相互情報推定値は、ロボット工学で利用可能なスケールを超えて膨大な量のデータを必要としますが、状態と行動の単純なVAE埋め込みに加えて、k-nearest neight emultionの推定値に基づく新しい手法を導入します。
経験的に、私たちのアプローチは、シミュレーションと現実世界環境にまたがる多様なベンチマークのセットにわたる人間の専門家スコアに従って、品質によってデモンストレーションデータセットを分割できることを実証します。
さらに、この方法でフィルタリングされたデータに基づいたトレーニングポリシーは、ロボミミックの5〜10％の改善と、実際のアロハとフランカのセットアップでのパフォーマンスの向上につながります。

要約(オリジナル)

The performance of imitation learning policies often hinges on the datasets with which they are trained. Consequently, investment in data collection for robotics has grown across both industrial and academic labs. However, despite the marked increase in the quantity of demonstrations collected, little work has sought to assess the quality of said data despite mounting evidence of its importance in other areas such as vision and language. In this work, we take a critical step towards addressing the data quality in robotics. Given a dataset of demonstrations, we aim to estimate the relative quality of individual demonstrations in terms of both state diversity and action predictability. To do so, we estimate the average contribution of a trajectory towards the mutual information between states and actions in the entire dataset, which precisely captures both the entropy of the state distribution and the state-conditioned entropy of actions. Though commonly used mutual information estimators require vast amounts of data often beyond the scale available in robotics, we introduce a novel technique based on k-nearest neighbor estimates of mutual information on top of simple VAE embeddings of states and actions. Empirically, we demonstrate that our approach is able to partition demonstration datasets by quality according to human expert scores across a diverse set of benchmarks spanning simulation and real world environments. Moreover, training policies based on data filtered by our method leads to a 5-10% improvement in RoboMimic and better performance on real ALOHA and Franka setups.

arxiv情報

著者 Joey Hejna,Suvir Mirchandani,Ashwin Balakrishna,Annie Xie,Ayzaan Wahid,Jonathan Tompson,Pannag Sanketi,Dhruv Shah,Coline Devin,Dorsa Sadigh
発行日 2025-02-18 18:24:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Robot Data Curation with Mutual Information Estimators はコメントを受け付けていません

Approximate Tree Completion and Learning-Augmented Algorithms for Metric Minimum Spanning Trees

投稿日: 2025年2月19日 作成者: jarxiv

要約

任意のメトリック空間で$ n $ポイントの最小スパニングツリー（MST）を見つけることは、階層的クラスタリングや他の多くのMLタスクの基本的な原始的ですが、これには$ \ omega（n^2）$ $ $の時間がかかります。
最初に（1）実用的なヒューリスティックを使用して切断されたコンポーネントの森を見つけたメトリックMSTのフレームワークを導入し、（2）森の分離コンポーネントをスパニングツリーに接続するための小さな重量セットを見つけます。
2番目のステップを最適に解くことは、$ \ omega（n^2）$の時間がまだかかることを証明しますが、亜adratic 2.62承認アルゴリズムを提供します。
学習の高度アルゴリズムの精神で、ステップ（1）で見つかった森林が最適なMSTと重複している場合、近似係数が重複の尺度に依存する亜周年期の元のMST問題を近似できることを示します。
実際には、幅広いメトリックにはほぼ最適なスパニングツリーがありますが、正確なアルゴリズムよりも桁違いに桁違いになります。

要約(オリジナル)

Finding a minimum spanning tree (MST) for $n$ points in an arbitrary metric space is a fundamental primitive for hierarchical clustering and many other ML tasks, but this takes $\Omega(n^2)$ time to even approximate. We introduce a framework for metric MSTs that first (1) finds a forest of disconnected components using practical heuristics, and then (2) finds a small weight set of edges to connect disjoint components of the forest into a spanning tree. We prove that optimally solving the second step still takes $\Omega(n^2)$ time, but we provide a subquadratic 2.62-approximation algorithm. In the spirit of learning-augmented algorithms, we then show that if the forest found in step (1) overlaps with an optimal MST, we can approximate the original MST problem in subquadratic time, where the approximation factor depends on a measure of overlap. In practice, we find nearly optimal spanning trees for a wide range of metrics, while being orders of magnitude faster than exact algorithms.

arxiv情報

著者 Nate Veldt,Thomas Stanley,Benjamin W. Priest,Trevor Steil,Keita Iwabuchi,T. S. Jayram,Geoffrey Sanders
発行日 2025-02-18 16:13:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DM, cs.DS, cs.LG | Approximate Tree Completion and Learning-Augmented Algorithms for Metric Minimum Spanning Trees はコメントを受け付けていません

Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness

投稿日: 2025年2月19日 作成者: jarxiv

要約

境界ドメインを介した隠された状態のノイジーSGDアルゴリズムの差別的なプライバシー（DP）保証を研究します。
Noisy-SGDの標準的なプライバシー分析では、すべての内部状態が明らかになると想定しているため、反復回数に関してバインドされた分岐したR’enyi DPにつながります。
Ye＆Shokri（2022）およびAltschuler＆Talwar（2022）は、滑らかな（強い）凸損失の収束境界を証明し、これらの仮定を緩和できるかどうかについてのオープンな疑問を提起しました。
私たちは、非凸の非滑らかな損失に拘束された収束r’enyi DPを証明することにより、肯定的な答えを提供します。そこでは、h \ ‘より古い連続勾配を持つために損失を必要とすることで十分であることが示されます。
また、スムーズな凸損失の最先端の結果と比較して、厳密に優れたプライバシーバウンドを提供します。
私たちの分析は、フォワードワッサースタインの距離追跡、最適なシフトの割り当ての特定、H’older削減Lemmaなど、複数の側面でのシフトされた発散分析の改善に依存しています。
私たちの結果は、DPの隠れた状態分析とその適用性の利点をさらに解明します。

要約(オリジナル)

We study the Differential Privacy (DP) guarantee of hidden-state Noisy-SGD algorithms over a bounded domain. Standard privacy analysis for Noisy-SGD assumes all internal states are revealed, which leads to a divergent R’enyi DP bound with respect to the number of iterations. Ye & Shokri (2022) and Altschuler & Talwar (2022) proved convergent bounds for smooth (strongly) convex losses, and raise open questions about whether these assumptions can be relaxed. We provide positive answers by proving convergent R’enyi DP bound for non-convex non-smooth losses, where we show that requiring losses to have H\’older continuous gradient is sufficient. We also provide a strictly better privacy bound compared to state-of-the-art results for smooth strongly convex losses. Our analysis relies on the improvement of shifted divergence analysis in multiple aspects, including forward Wasserstein distance tracking, identifying the optimal shifts allocation, and the H’older reduction lemma. Our results further elucidate the benefit of hidden-state analysis for DP and its applicability.

arxiv情報

著者 Eli Chien,Pan Li
発行日 2025-02-18 16:17:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Convergent Privacy Loss of Noisy-SGD without Convexity and Smoothness はコメントを受け付けていません

Asymptotic Optimism of Random-Design Linear and Kernel Regression Models

投稿日: 2025年2月19日 作成者: jarxiv

要約

私たちは、ランダム設計下で線形回帰モデルの閉じた漸近楽観主義を導き出し、それをカーネルリッジの回帰に一般化しました。
一般的な予測モデルの複雑さの尺度としてスケーリングされた漸近楽観主義を使用して、線形回帰モデル、接線カーネル（NTK）回帰モデル、3層完全接続ニューラルネットワーク（NN）の基本的な異なる挙動を研究しました。
私たちの貢献は2つあります。スケーリングされた楽観主義をモデル予測複雑さの尺度として使用するための理論的根拠を提供しました。
また、RELUSを持つNNがこの尺度でカーネルモデルとは異なる動作が異なることを経験的に示します。
再サンプリング手法では、実際のデータを使用して回帰モデルの楽観主義を計算することもできます。

要約(オリジナル)

We derived the closed-form asymptotic optimism of linear regression models under random designs, and generalizes it to kernel ridge regression. Using scaled asymptotic optimism as a generic predictive model complexity measure, we studied the fundamental different behaviors of linear regression model, tangent kernel (NTK) regression model and three-layer fully connected neural networks (NN). Our contribution is two-fold: we provided theoretical ground for using scaled optimism as a model predictive complexity measure; and we show empirically that NN with ReLUs behaves differently from kernel models under this measure. With resampling techniques, we can also compute the optimism for regression models with real data.

arxiv情報

著者 Hengrui Luo,Yunzhang Zhu
発行日 2025-02-18 16:19:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68Q32, 68T05, cs.LG, math.ST, stat.ML, stat.TH | Asymptotic Optimism of Random-Design Linear and Kernel Regression Models はコメントを受け付けていません

Edge-Colored Clustering in Hypergraphs: Beyond Minimizing Unsatisfied Edges

投稿日: 2025年2月19日 作成者: jarxiv

要約

エッジ色のハイパーグラフをクラスタリングするためのフレームワークを検討します。ここでは、参加する一次タイプのマルチウェイインタラクションに基づいてクラスタ（同等に色）オブジェクトをクラスター化することです。適切に研究された目的の1つは、色ノードの数を最小化することです。
不満のハイペラエッジ – 色がハイパーエッジの色と一致しない1つ以上のノードを含むもの。
私たちは、この最小化の問題を超えて拡張するいくつかの方向の進歩をやる気にさせ、提示します。
最初に、満足したエッジを最大化するための新しいアルゴリズムを提供します。これは、最適性で同じですが、前のすべての作業がグラフに限定されているため、近似するのがはるかに困難です。
ハイパーグラフの最初の近似アルゴリズムを開発し、それを改良して、グラフの最もよく知られている近似係数を改善します。
次に、バランスと公平性の概念を組み込んだ新しい目的関数を導入し、新しい硬度の結果、近似、および固定パラメーターの牽引可能性の結果を提供します。

要約(オリジナル)

We consider a framework for clustering edge-colored hypergraphs, where the goal is to cluster (equivalently, to color) objects based on the primary type of multiway interactions they participate in. One well-studied objective is to color nodes to minimize the number of unsatisfied hyperedges — those containing one or more nodes whose color does not match the hyperedge color. We motivate and present advances for several directions that extend beyond this minimization problem. We first provide new algorithms for maximizing satisfied edges, which is the same at optimality but is much more challenging to approximate, with all prior work restricted to graphs. We develop the first approximation algorithm for hypergraphs, and then refine it to improve the best-known approximation factor for graphs. We then introduce new objective functions that incorporate notions of balance and fairness, and provide new hardness results, approximations, and fixed-parameter tractability results.

arxiv情報

著者 Alex Crane,Thomas Stanley,Blair D. Sullivan,Nate Veldt
発行日 2025-02-18 16:20:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DM, cs.DS, cs.LG | Edge-Colored Clustering in Hypergraphs: Beyond Minimizing Unsatisfied Edges はコメントを受け付けていません

Invariant Subspace Decomposition

投稿日: 2025年2月19日 作成者: jarxiv

要約

Xが与えられたXの条件付き分布が時間の経過とともに変化する設定で、共変量Xのセットから応答yを予測するタスクを検討します。
これを実行可能にするためには、条件付き分布が時間の経過とともにどのように変化するかについての仮定が必要です。
既存のアプローチは、たとえば、変化が時間の経過とともにスムーズに発生するため、最近の過去のみを使用した短期予測が実行可能になると仮定しています。
さらに過去に観測をさらに活用するために、条件分布を時間不変および残留時間依存成分に分割する不変部分空間分解（ISD）と呼ばれる線形条件の新しい不変性ベースのフレームワークを提案します。
私たちが示しているように、この分解は、ゼロショットと時間に適合する予測タスクの両方に使用できます。つまり、それぞれYで予測する時点でNOまたは少量のトレーニングデータが利用可能な設定です。
おおよそのジョイントマトリックスの斜めからのツールを使用して、自動的に分解を推定する実用的な推定手順を提案します。
さらに、提案された推定器に有限のサンプル保証を提供し、追加の不変構造を使用しないアプローチが実際に改善されることを経験的に実証します。

要約(オリジナル)

We consider the task of predicting a response Y from a set of covariates X in settings where the conditional distribution of Y given X changes over time. For this to be feasible, assumptions on how the conditional distribution changes over time are required. Existing approaches assume, for example, that changes occur smoothly over time so that short-term prediction using only the recent past becomes feasible. To additionally exploit observations further in the past, we propose a novel invariance-based framework for linear conditionals, called Invariant Subspace Decomposition (ISD), that splits the conditional distribution into a time-invariant and a residual time-dependent component. As we show, this decomposition can be utilized both for zero-shot and time-adaptation prediction tasks, that is, settings where either no or a small amount of training data is available at the time points we want to predict Y at, respectively. We propose a practical estimation procedure, which automatically infers the decomposition using tools from approximate joint matrix diagonalization. Furthermore, we provide finite sample guarantees for the proposed estimator and demonstrate empirically that it indeed improves on approaches that do not use the additional invariant structure.

arxiv情報

著者 Margherita Lazzaretto,Jonas Peters,Niklas Pfister
発行日 2025-02-18 16:24:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.ST, stat.ME, stat.ML, stat.TH | Invariant Subspace Decomposition はコメントを受け付けていません

Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification

投稿日: 2025年2月19日 作成者: jarxiv

要約

時系列の分類は、さまざまなドメインでの意思決定プロセスをサポートする関連するステップであり、深いニューラルモデルは有望なパフォーマンスを示しています。
深い学習の大幅な進歩にもかかわらず、複雑なアーキテクチャの機能がどのように、なぜ制限されているかについての理論的理解は、より解釈可能なモデルの必要性を促します。
最近、Kolmogorov-Arnold Networks（Kans）は、より解釈可能な代替として提案されています。
Kan関連の研究はこれまでに大幅に増加していますが、時系列分類のためのKan建築の研究は限られています。
この論文では、UCRベンチマークでの時系列分類のために、Kanアーキテクチャの包括的な堅牢な調査を実施することを目指しています。
より具体的には、a）分類への転送を予測するための参照アーキテクチャ、b）ハイパーパラメーターと実装の影響を、選択したベンチマークで最もよく機能するもの、c）複雑さのトレードオフを見つけることを考慮して、分類パフォーマンスに対する実装の影響について説明します。
d）解釈可能性の利点。
私たちの結果は、（1）効率的なKanがパフォーマンスと計算効率のMLPを上回り、タスク分類タスクに対する適合性を示していることを示しています。
（2）効率的なKanは、特に学習率が低い場合、グリッドサイズ、深さ、層構成全体でKanよりも安定しています。
（3）Kanは、Hive-Cote2のような最先端のモデルと比較して競争の正確性を維持しており、アーキテクチャが小さく、トレーニング時間が短く、パフォーマンスと透明性のバランスをサポートしています。
（4）KANモデルの解釈可能性は、SHAP分析の結果と一致し、透明な意思決定の能力を強化します。

要約(オリジナル)

Time series classification is a relevant step supporting decision-making processes in various domains, and deep neural models have shown promising performance. Despite significant advancements in deep learning, the theoretical understanding of how and why complex architectures function remains limited, prompting the need for more interpretable models. Recently, the Kolmogorov-Arnold Networks (KANs) have been proposed as a more interpretable alternative. While KAN-related research is significantly rising, to date, the study of KAN architectures for time series classification has been limited. In this paper, we aim to conduct a comprehensive and robust exploration of the KAN architecture for time series classification on the UCR benchmark. More specifically, we look at a) how reference architectures for forecasting transfer to classification, at the b) hyperparameter and implementation influence on the classification performance in view of finding the one that performs best on the selected benchmark, the c) complexity trade-offs and d) interpretability advantages. Our results show that (1) Efficient KAN outperforms MLP in performance and computational efficiency, showcasing its suitability for tasks classification tasks. (2) Efficient KAN is more stable than KAN across grid sizes, depths, and layer configurations, particularly with lower learning rates. (3) KAN maintains competitive accuracy compared to state-of-the-art models like HIVE-COTE2, with smaller architectures and faster training times, supporting its balance of performance and transparency. (4) The interpretability of the KAN model aligns with findings from SHAP analysis, reinforcing its capacity for transparent decision-making.

arxiv情報

著者 Irina Barašin,Blaž Bertalanič,Mihael Mohorčič,Carolina Fortuna
発行日 2025-02-18 16:36:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification はコメントを受け付けていません

Gradient Equilibrium in Online Learning: Theory and Applications

投稿日: 2025年2月19日 作成者: jarxiv

要約

勾配平衡と呼ばれるオンライン学習に関する新しい視点を提示します。シーケンスに沿った損失の平均の平均がゼロに収束する場合、一連の反復液が勾配平衡を達成します。
一般に、この状態は、副後悔によって暗示されておらず、暗示されていません。
勾配平衡は、勾配降下や一定のステップサイズのミラー降下などの標準的なオンライン学習方法によって達成可能であることがわかります（後悔することなく通常必要なステップサイズではなく）。
さらに、例を示すように、勾配平衡は、回帰、分類、分位分類の推定などにまたがるオンライン予測問題の解釈可能かつ意味のある特性に変換されます。
特に、勾配平衡フレームワークを使用して、単純な事後オンライン降下更新に基づいて、任意の分布シフト下でのブラックボックス予測の衰弱スキームを開発できることを示しています。
また、ポストホックグラデーションの更新を使用して、分布シフト下で予測される分位を調整し、フレームワークがペアワイズ優先予測の偏りのないELOスコアにつながることを示しています。

要約(オリジナル)

We present a new perspective on online learning that we refer to as gradient equilibrium: a sequence of iterates achieves gradient equilibrium if the average of gradients of losses along the sequence converges to zero. In general, this condition is not implied by, nor implies, sublinear regret. It turns out that gradient equilibrium is achievable by standard online learning methods such as gradient descent and mirror descent with constant step sizes (rather than decaying step sizes, as is usually required for no regret). Further, as we show through examples, gradient equilibrium translates into an interpretable and meaningful property in online prediction problems spanning regression, classification, quantile estimation, and others. Notably, we show that the gradient equilibrium framework can be used to develop a debiasing scheme for black-box predictions under arbitrary distribution shift, based on simple post hoc online descent updates. We also show that post hoc gradient updates can be used to calibrate predicted quantiles under distribution shift, and that the framework leads to unbiased Elo scores for pairwise preference prediction.

arxiv情報

著者 Anastasios N. Angelopoulos,Michael I. Jordan,Ryan J. Tibshirani
発行日 2025-02-18 16:39:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, math.ST, stat.ML, stat.TH | Gradient Equilibrium in Online Learning: Theory and Applications はコメントを受け付けていません