Muscle Activation Estimation by Optimzing the Musculoskeletal Model for Personalized Strength and Conditioning Training

投稿日: 2025年2月20日 作成者: jarxiv

要約

筋骨格モデルは、筋肉の状態を分析するために、リハビリテーションとレジスタンストレーニングの領域で極めて重要です。
ただし、筋骨格パラメーターの個々の変動性と、いくつかの内部生体力学的変数の計り知れないことは、正確な個別化されたモデリングに大きな障害をもたらします。
さらに、複数の筋肉が単一の関節を駆動する筋骨格系の固有の冗長性により、筋肉の活性化推定は困難な場合があります。
この研究は、筋力とコンディショニングのトレーニングのための全身筋骨格モデルを開発し、筋電図ベースの最適化方法で関連する筋肉パラメーターを調整します。
個別化された筋骨格モデルを利用することにより、その後、筋肉の活性化を推定して、エクササイズの性能を分析できます。
ベンチプレスとデッドリフトは、このアプローチの有効性を確認するために、実験的検証のために選択されています。

要約(オリジナル)

Musculoskeletal models are pivotal in the domains of rehabilitation and resistance training to analyze muscle conditions. However, individual variability in musculoskeletal parameters and the immeasurability of some internal biomechanical variables pose significant obstacles to accurate personalized modelling. Furthermore, muscle activation estimation can be challenging due to the inherent redundancy of the musculoskeletal system, where multiple muscles drive a single joint. This study develops a whole-body musculoskeletal model for strength and conditioning training and calibrates relevant muscle parameters with an electromyography-based optimization method. By utilizing the personalized musculoskeletal model, muscle activation can be subsequently estimated to analyze the performance of exercises. Bench press and deadlift are chosen for experimental verification to affirm the efficacy of this approach.

arxiv情報

著者 Xi Wu,Chenzui Li,Kehan Zou,Ning Xi,Fei Chen
発行日 2025-02-19 14:22:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, physics.med-ph | Muscle Activation Estimation by Optimzing the Musculoskeletal Model for Personalized Strength and Conditioning Training はコメントを受け付けていません

Multi-Covering a Point Set by $m$ Disks with Minimum Total Area

投稿日: 2025年2月20日 作成者: jarxiv

要約

一般的なロボットセンシングの問題は、センサーを配置して資産のセットを堅牢に監視することです。ここでは、少なくとも$ \ kappa（p）$センサーによって資産$ p $を監視することを要求することで堅牢性が保証されます。
それぞれがディスク型のセンシング領域を持つ$ m $センサーで観察する必要がある$ n $の資産を与えられ、センサーをどこに配置する必要があります。
この問題について、高速ヒューリスティックを提供して分析します。
次に、ヒューリスティックを使用して、正確な整数プログラミングソリューションを初期化します。
その後、整数プログラムの定式化を変更し、ディスク候補セットを変更することにより、センサー間の分離制約を強制します。

要約(オリジナル)

A common robotics sensing problem is to place sensors to robustly monitor a set of assets, where robustness is assured by requiring asset $p$ to be monitored by at least $\kappa(p)$ sensors. Given $n$ assets that must be observed by $m$ sensors, each with a disk-shaped sensing region, where should the sensors be placed to minimize the total area observed? We provide and analyze a fast heuristic for this problem. We then use the heuristic to initialize an exact Integer Programming solution. Subsequently, we enforce separation constraints between the sensors by modifying the integer program formulation and by changing the disk candidate set.

arxiv情報

著者 Mariem Guitouni,Chek-Manh Loi,Sándor P. Fekete,Michael Perk,Aaron T. Becker
発行日 2025-02-19 14:34:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CG, cs.RO, F.2.2 | Multi-Covering a Point Set by $m$ Disks with Minimum Total Area はコメントを受け付けていません

Invisible Servoing: a Visual Servoing Approach with Return-Conditioned Latent Diffusion

投稿日: 2025年2月20日 作成者: jarxiv

要約

この論文では、UAVの視覚ベースのナビゲーション（非公開の航空機）の生成モデルの適用を調査する潜在的な拡散確率モデル（DDPMS）に基づいた新しい視覚サーボ（VS）アプローチを提示します。
古典的なメソッドと対は反対に、提案されたアプローチにより、ターゲットが最初に見えない場合でも、目的のターゲットビューに到達することができます。
これは、DDPMが計画に使用する潜在的な表現と、ターゲットに触れられない初期ビューを含む軌跡のデータセットの学習のおかげで可能です。
コンパクトな表現は、クロスモーダル変異オートエンコーダーを使用して生の画像から学習されます。
現在の画像を考えると、DDPMは潜在スペースの軌跡を生成し、ロボットプラットフォームを目的の視覚ターゲットに導きます。
このアプローチは、2つのジェネリックマルチローターUAV（四肢装置と六角動態）を使用してシミュレーションで検証されています。
結果は、最初のビューに見えなくても、視覚ターゲットに正常に到達できることを示しています。

要約(オリジナル)

In this paper, we present a novel visual servoing (VS) approach based on latent Denoising Diffusion Probabilistic Models (DDPMs), that explores the application of generative models for vision-based navigation of UAVs (Uncrewed Aerial Vehicles). Opposite to classical VS methods, the proposed approach allows reaching the desired target view, even when the target is initially not visible. This is possible thanks to the learning of a latent representation that the DDPM uses for planning and a dataset of trajectories encompassing target-invisible initial views. A compact representation is learned from raw images using a Cross-Modal Variational Autoencoder. Given the current image, the DDPM generates trajectories in the latent space driving the robotic platform to the desired visual target. The approach has been validated in simulation using two generic multi-rotor UAVs (a quadrotor and a hexarotor). The results show that we can successfully reach the visual target, even if not visible in the initial view.

arxiv情報

著者 Bishoy Gerges,Barbara Bazzana,Nicolò Botteghi,Youssef Aboudorra,Antonio Franchi
発行日 2025-02-19 14:39:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Invisible Servoing: a Visual Servoing Approach with Return-Conditioned Latent Diffusion はコメントを受け付けていません

Exploring Embodied Emotional Communication: A Human-oriented Review of Mediated Social Touch

投稿日: 2025年2月20日 作成者: jarxiv

要約

このペーパーでは、触覚界面、感情的な情報、マッピングメカニズム、および人間と人間とロボットの相互作用のダイナミクスにまたがる文献の広範なレビューを通じて、人間指向のアプローチを使用して、媒介ソーシャルタッチ（MST）の構造化された理解を提供します。
37の選択されたMSTケースの既存および探索的マッピング戦略を調査することにより、カテゴリーおよび価数覚醒モデルを統合し、感情的なキューが触覚信号にどのように翻訳されるかを示すことにより、多様な感情に対応するMSTの感情的表現空間を確立しました
。
MSTSの表現能力に基づいて、実用的な設計スペースは、身体の位置、デバイスフォーム、触覚モダリティ、パラメーターなどの要因を包み込んで構成されていました。
また、ワークフロー、評価方法、倫理的および文化的考慮事項など、MSTのさまざまな設計戦略、およびいくつかの将来の研究の方向性も提案しました。
MSTSの可能性は、感情的な情報を伝えるだけでなく、人間と人間とロボットの両方の相互作用の共感、快適さ、つながりを育むことにも反映されています。
このペーパーは、MSTの感情的なコミュニケーションの範囲を拡大し、感情的な触覚の多様な応用の探求を促進し、触覚相互作用の自然性と社交性を高めるのに役立つ、設計研究者と実践者の包括的なリファレンスとして機能することを目的としています。

要約(オリジナル)

This paper offers a structured understanding of mediated social touch (MST) using a human-oriented approach, through an extensive review of literature spanning tactile interfaces, emotional information, mapping mechanisms, and the dynamics of human-human and human-robot interactions. By investigating the existing and exploratory mapping strategies of the 37 selected MST cases, we established the emotional expression space of MSTs that accommodated a diverse spectrum of emotions by integrating the categorical and Valence-arousal models, showcasing how emotional cues can be translated into tactile signals. Based on the expressive capacity of MSTs, a practical design space was structured encompassing factors such as the body locations, device form, tactile modalities, and parameters. We also proposed various design strategies for MSTs including workflow, evaluation methods, and ethical and cultural considerations, as well as several future research directions. MSTs’ potential is reflected not only in conveying emotional information but also in fostering empathy, comfort, and connection in both human-human and human-robot interactions. This paper aims to serve as a comprehensive reference for design researchers and practitioners, which helps expand the scope of emotional communication of MSTs, facilitating the exploration of diverse applications of affective haptics, and enhancing the naturalness and sociability of haptic interaction.

arxiv情報

著者 Liwen He,Zichun Guo,Yanru Mo,Yue Wen,Yun Wang
発行日 2025-02-19 15:30:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: (Primary), 68U05, 92B20, cs.HC, cs.RO, H.5.2 | Exploring Embodied Emotional Communication: A Human-oriented Review of Mediated Social Touch はコメントを受け付けていません

An Online Optimization-Based Trajectory Planning Approach for Cooperative Landing Tasks

投稿日: 2025年2月20日 作成者: jarxiv

要約

このホワイトペーパーでは、協調的な着陸タスクの不均一なマルチロボットシステム（四足動物と地上モバイルロボットで構成される）のリアルタイム軌道計画スキームを紹介します。ここでは、ロボット間の着陸位置、着陸時間、および調整が自律的に決定されます。
実現可能性とユーザー仕様の考慮の下で。
提案されたフレームワークは、意思決定者としての相補性制約の可能性を活用し、多様な協同組合タスクの指標であり、それを共同着陸シナリオに拡張します。
提案された方法論の潜在的なアプリケーションでは、地上モバイルロボットは、充電される四角体とリアルタイムでモバイル充電ステーションと調整を行うことができ、安全で効率的なランデブーと着陸を促進します。
シミュレーションおよび実際のアプリケーションで生成された軌道を検証し、提案された着陸計画フレームワークのリアルタイム機能を実証しました。

要約(オリジナル)

This paper presents a real-time trajectory planning scheme for a heterogeneous multi-robot system (consisting of a quadrotor and a ground mobile robot) for a cooperative landing task, where the landing position, landing time, and coordination between the robots are determined autonomously under the consideration of feasibility and user specifications. The proposed framework leverages the potential of the complementarity constraint as a decision-maker and an indicator for diverse cooperative tasks and extends it to the collaborative landing scenario. In a potential application of the proposed methodology, a ground mobile robot may serve as a mobile charging station and coordinates in real-time with a quadrotor to be charged, facilitating a safe and efficient rendezvous and landing. We verified the generated trajectories in simulation and real-world applications, demonstrating the real-time capabilities of the proposed landing planning framework.

arxiv情報

著者 Jingshan Chen,Lihan Xu,Henrik Ebel,Peter Eberhard
発行日 2025-02-19 15:36:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | An Online Optimization-Based Trajectory Planning Approach for Cooperative Landing Tasks はコメントを受け付けていません

Minimally sufficient structures for information-feedback policies

投稿日: 2025年2月20日 作成者: jarxiv

要約

このホワイトペーパーでは、ロボットが埋め込まれてやり取りされている物理的な世界で、望ましい結果を必要とするロボットタスクを検討します。
この目的を達成するには、物理​​的な世界の有用な表現とフィルターの状態をめぐるポリシーを維持するフィルターを設計する必要があります。
フィルターは、限られたセンシング、メモリ、および計算に基づいた物理世界のロボットの視点と見なされ、情報状態の空間を介した遷移システムとして表されます。
この目的のために、相互作用は、センサーマッピングと情報フィードバックポリシーを通じて、内部および外部システム、フィルター、および物理世界の結合に起因します。
このセットアップでは、特定のタスクを達成するために、十分な構造、つまり十分な内部システムとセンサーを探します。
これらの構造が、内部システムの状態で存在するように定義できる情報フィードバックポリシーを満たすために必要かつ十分な条件を確立します。
また、穏やかな仮定の下では、アクションと観測の履歴について記述されている特定の計画/ポリシーを表すことができる最小限の内部システムが存在し、ユニークであることを示しています。
最後に、結果が適用され、多角形の環境での距離最適なナビゲーションの十分な構造を決定します。

要約(オリジナル)

In this paper, we consider robotic tasks which require a desirable outcome to be achieved in the physical world that the robot is embedded in and interacting with. Accomplishing this objective requires designing a filter that maintains a useful representation of the physical world and a policy over the filter states. A filter is seen as the robot’s perspective of the physical world based on limited sensing, memory, and computation and it is represented as a transition system over a space of information states. To this end, the interactions result from the coupling of an internal and an external system, a filter, and the physical world, respectively, through a sensor mapping and an information-feedback policy. Within this setup, we look for sufficient structures, that is, sufficient internal systems and sensors, for accomplishing a given task. We establish necessary and sufficient conditions for these structures to satisfy for information-feedback policies that can be defined over the states of an internal system to exist. We also show that under mild assumptions, minimal internal systems that can represent a particular plan/policy described over the action-observation histories exist and are unique. Finally, the results are applied to determine sufficient structures for distance-optimal navigation in a polygonal environment.

arxiv情報

著者 Basak Sakcak,Vadim K. Weinstein,Kalle G. Timperi,Steven M. LaValle
発行日 2025-02-19 16:16:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Minimally sufficient structures for information-feedback policies はコメントを受け付けていません

Soft Synergies: Model Order Reduction of Hybrid Soft-Rigid Robots via Optimal Strain Parameterization

投稿日: 2025年2月20日 作成者: jarxiv

要約

ソフトロボットは、厳格なロボットよりも顕著な適応性と安全性の利点を提供しますが、複雑で非線形のダイナミクスのモデリングは依然として困難です。
ひずみベースのモデルは最近、そのようなシステムを説明する有望な候補として浮上していますが、それらは高次元的で時間がかかる傾向があります。
このホワイトペーパーでは、ひずみベースのモデリングと適切な直交分解（POD）を組み合わせることにより、ソフトおよびハイブリッドロボットの新しいモデル順序削減アプローチを紹介します。
このメソッドは、シミュレーションデータから最適な結合ひずみ基底関数、または機械的相乗効果を識別し、最小数の一般化された座標でソフトロボット構成の説明を可能にします。
縮小されたオーダーモデル（ROM）は、正確性を維持しながら、構成空間の大幅な次元削減を達成します。
厳密なテストは、静的および動的条件下でのソフトマニピュレーターのROMの補間と外挿機能を示しています。
このアプローチは、ヘビのような過剰に冗長な剛性マニピュレーターと、柔らかく硬いコンポーネントを備えた閉鎖鎖システムでさらに検証され、その幅広い適用性を示しています。
さらに、このアプローチは、2つの位置マーカーのみを使用して実際の6アクチュエーターソフトマニピュレーターの形状推定のために活用され、その実用性を示しています。
最後に、ROMの動的および静的動作は、並列ハイブリッドソフトリギッドシステムに対して実験的に検証され、高次モデル（HOM）と実際のシステムを表す際のその効果を強調します。
このポッドベースのROMは、重要な計算スピードアップを提供し、複雑なソフトおよびハイブリッドロボットのリアルタイムシミュレーションと制御への道を開いています。

要約(オリジナル)

Soft robots offer remarkable adaptability and safety advantages over rigid robots, but modeling their complex, nonlinear dynamics remains challenging. Strain-based models have recently emerged as a promising candidate to describe such systems, however, they tend to be high-dimensional and time-consuming. This paper presents a novel model order reduction approach for soft and hybrid robots by combining strain-based modeling with Proper Orthogonal Decomposition (POD). The method identifies optimal coupled strain basis functions — or mechanical synergies — from simulation data, enabling the description of soft robot configurations with a minimal number of generalized coordinates. The reduced order model (ROM) achieves substantial dimensionality reduction in the configuration space while preserving accuracy. Rigorous testing demonstrates the interpolation and extrapolation capabilities of the ROM for soft manipulators under static and dynamic conditions. The approach is further validated on a snake-like hyper-redundant rigid manipulator and a closed-chain system with soft and rigid components, illustrating its broad applicability. Moreover, the approach is leveraged for shape estimation of a real six-actuator soft manipulator using only two position markers, showcasing its practical utility. Finally, the ROM’s dynamic and static behavior is validated experimentally against a parallel hybrid soft-rigid system, highlighting its effectiveness in representing the High-Order Model (HOM) and the real system. This POD-based ROM offers significant computational speed-ups, paving the way for real-time simulation and control of complex soft and hybrid robots.

arxiv情報

著者 Abdulaziz Y. Alkayas,Anup Teejo Mathew,Daniel Feliu-Talegon,Ping Deng,Thomas George Thuruthel,Federico Renda
発行日 2025-02-19 16:23:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Soft Synergies: Model Order Reduction of Hybrid Soft-Rigid Robots via Optimal Strain Parameterization はコメントを受け付けていません

The NavINST Dataset for Multi-Sensor Autonomous Navigation

投稿日: 2025年2月20日 作成者: jarxiv

要約

Navinst Laboratoryは、都市環境のさまざまなロードテスト軌跡から包括的な多感覚データセットを開発しました。
このデータセットには、複数のコマーシャルグレードのIMUSとハイエンドの戦術グレードIMUが含まれています。
さらに、ソリッドステートリダーなどの幅広い知覚ベースのセンサーが含まれています。これは、最初のデータセットの1つであり、機械的なLIDAR、4つの電子的なスキャンレーダー、単眼カメラ、2つのステレオカメラです。
データセットには、車両の走行距離計から派生した前方速度測定と、正確に後処理されたハイエンドGNS/IMUデータも含まれており、正確なグラウンドトゥルースポジショニングとナビゲーション情報を提供します。
NAVINSTデータセットは、高精度のポジショニング、ナビゲーション、マッピング、コンピュータービジョン、多感覚融合の高度な研究をサポートするように設計されています。
自動運転車の堅牢なアルゴリズムの開発と検証に最適なリッチなマルチセンサーデータを提供します。
最後に、それはROSと完全に統合されており、研究コミュニティの使いやすさとアクセシビリティを確保します。
完全なデータセットおよび開発ツールは、https：//navinst.github.ioで入手できます。

要約(オリジナル)

The NavINST Laboratory has developed a comprehensive multisensory dataset from various road-test trajectories in urban environments, featuring diverse lighting conditions, including indoor garage scenarios with dense 3D maps. This dataset includes multiple commercial-grade IMUs and a high-end tactical-grade IMU. Additionally, it contains a wide array of perception-based sensors, such as a solid-state LiDAR – making it one of the first datasets to do so – a mechanical LiDAR, four electronically scanning RADARs, a monocular camera, and two stereo cameras. The dataset also includes forward speed measurements derived from the vehicle’s odometer, along with accurately post-processed high-end GNSS/IMU data, providing precise ground truth positioning and navigation information. The NavINST dataset is designed to support advanced research in high-precision positioning, navigation, mapping, computer vision, and multisensory fusion. It offers rich, multi-sensor data ideal for developing and validating robust algorithms for autonomous vehicles. Finally, it is fully integrated with the ROS, ensuring ease of use and accessibility for the research community. The complete dataset and development tools are available at https://navinst.github.io.

arxiv情報

著者 Paulo Ricardo Marques de Araujo,Eslam Mounier,Qamar Bader,Emma Dawson,Shaza I. Kaoud Abdelaziz,Ahmed Zekry,Mohamed Elhabiby,Aboelmagd Noureldin
発行日 2025-02-19 16:31:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | The NavINST Dataset for Multi-Sensor Autonomous Navigation はコメントを受け付けていません

Traffic Scene Generation from Natural Language Description for Autonomous Vehicles with Large Language Model

投稿日: 2025年2月20日 作成者: jarxiv

要約

テキストからスセンの生成は、通常、所定のパスに沿って重要なシナリオを生成することにより、環境の多様性を制限します。
これらの制約に対処するために、大規模な言語モデル（LLM）を活用して、自然言語の説明に基づいてCarlaシミュレーターの多様なトラフィックシナリオを自律的に生成する新しいテキストからトラフィックへのシーンフレームワークを提案します。
パイプラインは、いくつかの重要な段階で構成されています。（1）自然言語の入力が分解される迅速な分析。
（2）データベースから最適な道路を選択する道路検索。
（3）エージェントの計画、詳細なエージェントの種類と行動。
（4）シナリオ要件に合わせて道路のランキング、スコアリングロード。
（5）シミュレータで計画されたシナリオをレンダリングするシーン生成。
このフレームワークは、日常的なトラフィックシナリオと重要なトラフィックシナリオの両方をサポートし、その適用性を高めます。
私たちのアプローチは、エージェントの計画と道路の選択を多様化するだけでなく、SafeBenchの平均衝突率を8％から3.5％に大幅に削減することを実証します。
さらに、私たちのフレームワークは、キャプションタスクを運転するためのナレーションと推論を改善します。
当社の貢献とリソースは、https://basiclab.github.io/ttsgで公開されています。

要約(オリジナル)

Text-to-scene generation typically limits environmental diversity by generating key scenarios along predetermined paths. To address these constraints, we propose a novel text-to-traffic scene framework that leverages a large language model (LLM) to autonomously generate diverse traffic scenarios for the CARLA simulator based on natural language descriptions. Our pipeline comprises several key stages: (1) Prompt Analysis, where natural language inputs are decomposed; (2) Road Retrieval, selecting optimal roads from a database; (3) Agent Planning, detailing agent types and behaviors; (4) Road Ranking, scoring roads to match scenario requirements; and (5) Scene Generation, rendering the planned scenarios in the simulator. This framework supports both routine and critical traffic scenarios, enhancing its applicability. We demonstrate that our approach not only diversifies agent planning and road selection but also significantly reduces the average collision rate from 8% to 3.5% in SafeBench. Additionally, our framework improves narration and reasoning for driving captioning tasks. Our contributions and resources are publicly available at https://basiclab.github.io/TTSG.

arxiv情報

著者 Bo-Kai Ruan,Hao-Tang Tsui,Yung-Hui Li,Hong-Han Shuai
発行日 2025-02-19 16:32:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Traffic Scene Generation from Natural Language Description for Autonomous Vehicles with Large Language Model はコメントを受け付けていません

Uncertainty quantification for Markov chains with application to temporal difference learning

投稿日: 2025年2月20日 作成者: jarxiv

要約

マルコフチェーンは、統計的な機械学習の基本であり、マルコフチェーンモンテカルロ（MCMC）サンプリングや時間的差異（TD）学習（RL）などの主要な方法論を支えています。
それらの広範な使用を考えると、収束、不確実性、および安定性に関する厳格な確率的保証を確立することが重要です。
この作業では、マルコフチェーンのベクトルおよびマトリックス値関数の新しい、高次元濃度の不平等とベリーエッシーンの境界を開発し、従属データを処理するための既存の理論ツールの重要な制限に対処します。
これらの結果を活用して、RLのポリシー評価に広く使用されている方法であるTD学習アルゴリズムを分析します。
私たちの分析は、漸近的分散を対数因子に合わせて一致させる鋭い高確率の一貫性保証をもたらします。
さらに、凸距離で測定されたTD推定器のガウス近似のために、$ o（t^{ – \ frac {1} {4} {4}} \ log t）$分布収束率を確立します。
これらの調査結果は、RLアルゴリズムの統計的推論に関する新しい洞察を提供し、古典的な確率的近似理論と最新の強化学習アプリケーションの間のギャップを埋めます。

要約(オリジナル)

Markov chains are fundamental to statistical machine learning, underpinning key methodologies such as Markov Chain Monte Carlo (MCMC) sampling and temporal difference (TD) learning in reinforcement learning (RL). Given their widespread use, it is crucial to establish rigorous probabilistic guarantees on their convergence, uncertainty, and stability. In this work, we develop novel, high-dimensional concentration inequalities and Berry-Esseen bounds for vector- and matrix-valued functions of Markov chains, addressing key limitations in existing theoretical tools for handling dependent data. We leverage these results to analyze the TD learning algorithm, a widely used method for policy evaluation in RL. Our analysis yields a sharp high-probability consistency guarantee that matches the asymptotic variance up to logarithmic factors. Furthermore, we establish a $O(T^{-\frac{1}{4}}\log T)$ distributional convergence rate for the Gaussian approximation of the TD estimator, measured in convex distance. These findings provide new insights into statistical inference for RL algorithms, bridging the gaps between classical stochastic approximation theory and modern reinforcement learning applications.

arxiv情報

著者 Weichen Wu,Yuting Wei,Alessandro Rinaldo
発行日 2025-02-19 15:33:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Uncertainty quantification for Markov chains with application to temporal difference learning はコメントを受け付けていません