Masked Sensory-Temporal Attention for Sensor Generalization in Quadruped Locomotion

投稿日: 2025年3月13日 作成者: jarxiv

要約

四足動物に焦点が当てられているため、さまざまなロボットモデルとセンサー入力を処理できる一般化ポリシーが非常に有益になります。
さまざまな形態に対処するためのいくつかの方法が提案されていますが、固有受容情報のさまざまな組み合わせを管理するための学習ベースのポリシーにとって課題のままです。
このペーパーでは、四足運動のためのマスキングを伴う新しい変圧器ベースのメカニズムであるマスクされた感覚的注意（MSTA）を紹介します。
センサーレベルの直接的な注意を採用して、感覚と時点の理解を高め、センサーデータのさまざまな組み合わせを処理し、目に見えない情報を組み込むための基盤として機能します。
MSTAは、不足している情報の大部分でも状態を効果的に理解でき、長い入力シーケンスにもかかわらず物理システムに展開するのに十分な柔軟性があります。

要約(オリジナル)

With the rising focus on quadrupeds, a generalized policy capable of handling different robot models and sensor inputs becomes highly beneficial. Although several methods have been proposed to address different morphologies, it remains a challenge for learning-based policies to manage various combinations of proprioceptive information. This paper presents Masked Sensory-Temporal Attention (MSTA), a novel transformer-based mechanism with masking for quadruped locomotion. It employs direct sensor-level attention to enhance the sensory-temporal understanding and handle different combinations of sensor data, serving as a foundation for incorporating unseen information. MSTA can effectively understand its states even with a large portion of missing information, and is flexible enough to be deployed on physical systems despite the long input sequence.

arxiv情報

著者 Dikai Liu,Tianwei Zhang,Jianxiong Yin,Simon See
発行日 2025-03-12 02:28:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Masked Sensory-Temporal Attention for Sensor Generalization in Quadruped Locomotion はコメントを受け付けていません

HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots

投稿日: 2025年3月13日 作成者: jarxiv

要約

ヒューマノイドロボットの知覚システム設計は、深刻な自己閉塞と限られた視野（FOV）を引き起こす固有の構造的制約のために、独特の課題をもたらします。
これらの限界を克服するためにパノラマビジョンとライダーセンシングを相乗的に統合する新しいハイブリッドクロスモーダル知覚フレームワークであるヒューマノイドパノを提示します。
単眼カメラや標準的なマルチセンサー構成に依存する従来のロボット認識システムとは異なり、この方法は、球面視覚変圧器を介して幾何学的に認識されたモダリティアライメントを確立し、Lidarの正確な深さ測定と360の視覚的コンテキストのシームレスな融合を可能にします。
第一に、球状の幾何学的制約（SGC）パノラマカメラレイプロパティを活用して、幾何学的アライメントのための歪み正規化サンプリングオフセットを導きます。
第二に、空間変形可能な注意（SDA）は、球形のオフセットを介して階層3D機能を集約し、幾何学的に完全なオブジェクト表現と効率的な360 {\ deg}からfusionを有効にします。
第三に、パノラマの増強（AUG）は、データ増強中のBEVパノラマの特徴の一貫性を強化するために、クロスビュー変換とセマンティックアライメントを組み合わせています。
広範な評価は、360Bev-Matterportベンチマークで最先端のパフォーマンスを示しています。
ヒューマノイドプラットフォームでの実際の展開は、システムの機能を検証して、複雑な環境でのダウンストリームナビゲーションタスクを直接有効にするパノラマライダーの共同認知を通じて、正確なBEVセグメンテーションマップを生成します。
私たちの仕事は、ヒューマノイドロボット工学における具体化された知覚のための新しいパラダイムを確立します。

要約(オリジナル)

The perceptual system design for humanoid robots poses unique challenges due to inherent structural constraints that cause severe self-occlusion and limited field-of-view (FOV). We present HumanoidPano, a novel hybrid cross-modal perception framework that synergistically integrates panoramic vision and LiDAR sensing to overcome these limitations. Unlike conventional robot perception systems that rely on monocular cameras or standard multi-sensor configurations, our method establishes geometrically-aware modality alignment through a spherical vision transformer, enabling seamless fusion of 360 visual context with LiDAR’s precise depth measurements. First, Spherical Geometry-aware Constraints (SGC) leverage panoramic camera ray properties to guide distortion-regularized sampling offsets for geometric alignment. Second, Spatial Deformable Attention (SDA) aggregates hierarchical 3D features via spherical offsets, enabling efficient 360{\deg}-to-BEV fusion with geometrically complete object representations. Third, Panoramic Augmentation (AUG) combines cross-view transformations and semantic alignment to enhance BEV-panoramic feature consistency during data augmentation. Extensive evaluations demonstrate state-of-the-art performance on the 360BEV-Matterport benchmark. Real-world deployment on humanoid platforms validates the system’s capability to generate accurate BEV segmentation maps through panoramic-LiDAR co-perception, directly enabling downstream navigation tasks in complex environments. Our work establishes a new paradigm for embodied perception in humanoid robotics.

arxiv情報

著者 Qiang Zhang,Zhang Zhang,Wei Cui,Jingkai Sun,Jiahang Cao,Yijie Guo,Gang Han,Wen Zhao,Jiaxu Wang,Chenghao Sun,Lingfeng Zhang,Hao Cheng,Yujie Chen,Lin Wang,Jian Tang,Renjing Xu
発行日 2025-03-12 02:59:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots はコメントを受け付けていません

Natural Humanoid Robot Locomotion with Generative Motion Prior

投稿日: 2025年3月13日 作成者: jarxiv

要約

自然でリアルな移動は、ヒューマノイドロボットが人間社会と相互作用するための基本的な課題のままです。
ただし、以前の方法は、動きの自然性を無視するか、不安定であいまいなスタイルの報酬に依存しています。
この論文では、天然のヒューマノイドロボットの移動のタスクのためにきめ細かい運動レベルの監督を提供する新しい生成運動事前（GMP）を提案します。
自然の人間の動きを活用するために、まず全身の動きのリターゲティングを採用して、それらを効果的にロボットに移します。
その後、オフラインで生成モデルをトレーニングして、条件付き変分自動エンコーダーに基づいてロボットの将来の自然参照動画を予測します。
ポリシートレーニング中、生成モーションプライアは、凍結したオンラインモーションジェネレーターとして機能し、ジョイントアングルやキーポイントポジションを含む軌跡レベルで正確かつ包括的な監督を提供します。
生成運動は、学習プロセス全体で詳細かつ密度の高いガイダンスを提供することにより、トレーニングの安定性を大幅に向上させ、解釈性を向上させます。
シミュレーションと現実世界の両方の環境での実験結果は、我々の方法が既存のアプローチと比較して優れた運動の自然さを達成することを示しています。
プロジェクトページは、https：//sites.google.com/view/humanoid-gmpにあります

要約(オリジナル)

Natural and lifelike locomotion remains a fundamental challenge for humanoid robots to interact with human society. However, previous methods either neglect motion naturalness or rely on unstable and ambiguous style rewards. In this paper, we propose a novel Generative Motion Prior (GMP) that provides fine-grained motion-level supervision for the task of natural humanoid robot locomotion. To leverage natural human motions, we first employ whole-body motion retargeting to effectively transfer them to the robot. Subsequently, we train a generative model offline to predict future natural reference motions for the robot based on a conditional variational auto-encoder. During policy training, the generative motion prior serves as a frozen online motion generator, delivering precise and comprehensive supervision at the trajectory level, including joint angles and keypoint positions. The generative motion prior significantly enhances training stability and improves interpretability by offering detailed and dense guidance throughout the learning process. Experimental results in both simulation and real-world environments demonstrate that our method achieves superior motion naturalness compared to existing approaches. Project page can be found at https://sites.google.com/view/humanoid-gmp

arxiv情報

著者 Haodong Zhang,Liang Zhang,Zhenghan Chen,Lu Chen,Yue Wang,Rong Xiong
発行日 2025-03-12 03:04:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Natural Humanoid Robot Locomotion with Generative Motion Prior はコメントを受け付けていません

Accurate Control under Voltage Drop for Rotor Drones

投稿日: 2025年3月13日 作成者: jarxiv

要約

この手紙は、バッテリーの電圧降下によって引き起こされる電圧降下（VD）の妨害に対抗するためのロータードローンの障害防止制御スキームを提案しています。これは、長時間の飛行または攻撃的な操作の一般的なケースです。
第一に、VDの妨害を考慮したロータードローンの洗練されたダイナミクスが提示されます。
ダイナミクスに基づいて、電圧ドロップオブザーバー（VDO）が開発され、ドローンの妨害と状態情報を分離し、従来の妨害観察者の保守性を低下させることにより、VDの妨害を正確に推定します。
その後、制御スキームは、トランスレーショナルループ内のVDOと回転ループ内の固定時間スライドモードオブザーバー（SMO）を統合し、バッテリーの電圧降下によって引き起こされる力とトルクの乱れに対処できるようにします。
VD妨害の下で提案された制御スキームの有効性を実証するために、十分な実際の飛行実験が実施されます。

要約(オリジナル)

This letter proposes an anti-disturbance control scheme for rotor drones to counteract voltage drop (VD) disturbance caused by voltage drop of the battery, which is a common case for long-time flight or aggressive maneuvers. Firstly, the refined dynamics of rotor drones considering VD disturbance are presented. Based on the dynamics, a voltage drop observer (VDO) is developed to accurately estimate the VD disturbance by decoupling the disturbance and state information of the drone, reducing the conservativeness of conventional disturbance observers. Subsequently, the control scheme integrates the VDO within the translational loop and a fixed-time sliding mode observer (SMO) within the rotational loop, enabling it to address force and torque disturbances caused by voltage drop of the battery. Sufficient real flight experiments are conducted to demonstrate the effectiveness of the proposed control scheme under VD disturbance.

arxiv情報

著者 Yuhang Liu,Jindou Jia,Zihan Yang,Kexin Guo
発行日 2025-03-12 03:13:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Accurate Control under Voltage Drop for Rotor Drones はコメントを受け付けていません

Feasibility-aware Imitation Learning from Observations through a Hand-mounted Demonstration Interface

投稿日: 2025年3月13日 作成者: jarxiv

要約

デモンストレーションインターフェイスを介した模倣学習は、直感的な人間のデモンストレーションからロボットオートメーションのポリシーを学ぶことが期待されています。
ただし、人間とロボットの動きの特性の違いにより、人間の専門家は意図せずにロボットが実行できないアクションを実証する可能性があります。
観察（FABCO）からクローニングする実現可能性を意識する動作を提案します。
FABCOフレームワークでは、各デモンストレーションの実現可能性は、ロボットの事前に訓練された前方ダイナミクスモデルを使用して評価されます。
この実現可能性情報は、デモ参加者への視覚的なフィードバックとして提供され、デモンストレーションを改良するように促します。
政策学習中、推定された実現可能性はデモデータの重みとして機能し、学習ポリシーのデータ効率と堅牢性の両方を改善します。
Fabcoの有効性を実験的に検証し、ピペットとバイアルを含むピペット挿入タスクに適用しました。
4人の参加者が、FABCOにおける実現可能性フィードバックと加重ポリシー学習の影響を評価しました。
さらに、NASAタスクロードインデックス（NASA-TLX）を使用して、視覚的なフィードバックを使用してデモンストレーションによって誘導されるワークロードを評価しました。

要約(オリジナル)

Imitation learning through a demonstration interface is expected to learn policies for robot automation from intuitive human demonstrations. However, due to the differences in human and robot movement characteristics, a human expert might unintentionally demonstrate an action that the robot cannot execute. We propose feasibility-aware behavior cloning from observation (FABCO). In the FABCO framework, the feasibility of each demonstration is assessed using the robot’s pre-trained forward and inverse dynamics models. This feasibility information is provided as visual feedback to the demonstrators, encouraging them to refine their demonstrations. During policy learning, estimated feasibility serves as a weight for the demonstration data, improving both the data efficiency and the robustness of the learned policy. We experimentally validated FABCO’s effectiveness by applying it to a pipette insertion task involving a pipette and a vial. Four participants assessed the impact of the feasibility feedback and the weighted policy learning in FABCO. Additionally, we used the NASA Task Load Index (NASA-TLX) to evaluate the workload induced by demonstrations with visual feedback.

arxiv情報

著者 Kei Takahashi,Hikaru Sasaki,Takamitsu Matsubara
発行日 2025-03-12 03:14:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Feasibility-aware Imitation Learning from Observations through a Hand-mounted Demonstration Interface はコメントを受け付けていません

Traffic Regulation-aware Path Planning with Regulation Databases and Vision-Language Models

投稿日: 2025年3月13日 作成者: jarxiv

要約

このペーパーでは、自動化された運転システム（ADS）にトラフィック規制のコンプライアンスを統合するフレームワークを紹介およびテストします。
このフレームワークにより、広告は交通法に従い、運転環境に基づいて情報に基づいた決定を下すことができます。
RGBカメラ入力とビジョン言語モデル（VLM）を使用して、システムは記述テキストを生成して、規制を意識する意思決定プロセスをサポートし、法的および安全な運転慣行を確保します。
この情報は、マシン読み取り可能な広告レギュレーションデータベースと組み合わせて、法的制約内の将来の運転計画を導きます。
主な機能には、1）レギュレーションデータベースの意思決定をサポートする規制データベース、2）レギュレーション対応パス計画のためのセンサー入力を使用した自動プロセス、および3）シミュレーション環境と実際の環境の両方での検証。
特に、実際の車両テストは、フレームワークのパフォーマンスを評価するだけでなく、検出、推論、および計画を統合することにより、複雑な運転問題を解決するVLMの潜在的と課題と課題を評価します。
この作業は、広告に対する合法性、安全性、および一般の信頼を高め、現場での重要な前進を表します。

要約(オリジナル)

This paper introduces and tests a framework integrating traffic regulation compliance into automated driving systems (ADS). The framework enables ADS to follow traffic laws and make informed decisions based on the driving environment. Using RGB camera inputs and a vision-language model (VLM), the system generates descriptive text to support a regulation-aware decision-making process, ensuring legal and safe driving practices. This information is combined with a machine-readable ADS regulation database to guide future driving plans within legal constraints. Key features include: 1) a regulation database supporting ADS decision-making, 2) an automated process using sensor input for regulation-aware path planning, and 3) validation in both simulated and real-world environments. Particularly, the real-world vehicle tests not only assess the framework’s performance but also evaluate the potential and challenges of VLMs to solve complex driving problems by integrating detection, reasoning, and planning. This work enhances the legality, safety, and public trust in ADS, representing a significant step forward in the field.

arxiv情報

著者 Xu Han,Zhiwen Wu,Xin Xia,Jiaqi Ma
発行日 2025-03-12 03:21:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.IV, eess.SY | Traffic Regulation-aware Path Planning with Regulation Databases and Vision-Language Models はコメントを受け付けていません

Intelligent logistics management robot path planning algorithm integrating transformer and GCN network

投稿日: 2025年3月13日 作成者: jarxiv

要約

この研究は、スマートロジスティクスにおけるロボットの高度なルート最適化を掘り下げ、変圧器アーキテクチャ、グラフニューラルネットワーク（GNNS）、および生成的敵対ネットワーク（GAN）の融合を活用します。
このアプローチは、地理的データ、貨物割り当て、ロボットダイナミクスを含むグラフベースの表現を利用して、ルート効率を改良するための空間制限とリソースの両方の制限に対処します。
本物のロジスティクスデータセットを使用した広範なテストを通じて、提案された方法は、移動距離の15％の減少、時間効率の20％の増加、エネルギー消費の10％の減少など、顕著な改善を達成します。
これらの調査結果は、アルゴリズムの有効性を強調し、インテリジェントロジスティクス運用のパフォーマンスの向上を促進します。

要約(オリジナル)

This research delves into advanced route optimization for robots in smart logistics, leveraging a fusion of Transformer architectures, Graph Neural Networks (GNNs), and Generative Adversarial Networks (GANs). The approach utilizes a graph-based representation encompassing geographical data, cargo allocation, and robot dynamics, addressing both spatial and resource limitations to refine route efficiency. Through extensive testing with authentic logistics datasets, the proposed method achieves notable improvements, including a 15% reduction in travel distance, a 20% boost in time efficiency, and a 10% decrease in energy consumption. These findings highlight the algorithm’s effectiveness, promoting enhanced performance in intelligent logistics operations.

arxiv情報

著者 Hao Luo,Jianjun Wei,Shuchen Zhao,Ankai Liang,Zhongjin Xu,Ruxue Jiang
発行日 2025-03-12 03:29:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Intelligent logistics management robot path planning algorithm integrating transformer and GCN network はコメントを受け付けていません

RFUAV: A Benchmark Dataset for Unmanned Aerial Vehicle Detection and Identification

投稿日: 2025年3月13日 作成者: jarxiv

要約

このホワイトペーパーでは、RFUAVを無線周波ベース（RFベース）無人航空機（UAV）の識別のための新しいベンチマークデータセットとして提案し、次の課題に対処します。最初に、多くの既存のデータセットは、制限された多様なドローンタイプと、実際の応用の要求を満たすことができない生データの量が制限されています。
第二に、既存のデータセットには、広範囲の信号対雑音比（SNR）をカバーする生データが欠けていることが多い、またはRAWデータを異なるSNRレベルに変換するためのツールを提供しません。
この制限は、モデルトレーニングと評価の妥当性を損ないます。
最後に、多くの既存のデータセットはオープンアクセス評価ツールを提供しておらず、この分野での現在の研究で統一された評価基準が不足しています。
RFUAVは、実際の環境でユニバーサルソフトウェアラジオ周辺（USRP）デバイスを使用して、37個の異なるUAVから収集された約1.3 Tbの生の周波数データで構成されています。
RFUAVのRFデータの詳細な分析により、ドローン信号を区別するのに役立つRFドローンフィンガープリントと呼ばれるドローン機能シーケンスを定義します。
データセットに加えて、RFUAVはベースライン前処理方法とモデル評価ツールを提供します。
厳密な実験は、これらの前処理方法が提供された評価ツールを使用して最先端（SOTA）パフォーマンスを実現することを示しています。
RFUAVデータセットとベースラインの実装は、https://github.com/kitoweeknd/rfuav/で公開されています。

要約(オリジナル)

In this paper, we propose RFUAV as a new benchmark dataset for radio-frequency based (RF-based) unmanned aerial vehicle (UAV) identification and address the following challenges: Firstly, many existing datasets feature a restricted variety of drone types and insufficient volumes of raw data, which fail to meet the demands of practical applications. Secondly, existing datasets often lack raw data covering a broad range of signal-to-noise ratios (SNR), or do not provide tools for transforming raw data to different SNR levels. This limitation undermines the validity of model training and evaluation. Lastly, many existing datasets do not offer open-access evaluation tools, leading to a lack of unified evaluation standards in current research within this field. RFUAV comprises approximately 1.3 TB of raw frequency data collected from 37 distinct UAVs using the Universal Software Radio Peripheral (USRP) device in real-world environments. Through in-depth analysis of the RF data in RFUAV, we define a drone feature sequence called RF drone fingerprint, which aids in distinguishing drone signals. In addition to the dataset, RFUAV provides a baseline preprocessing method and model evaluation tools. Rigorous experiments demonstrate that these preprocessing methods achieve state-of-the-art (SOTA) performance using the provided evaluation tools. The RFUAV dataset and baseline implementation are publicly available at https://github.com/kitoweeknd/RFUAV/.

arxiv情報

著者 Rui Shi,Xiaodong Yu,Shengming Wang,Yijia Zhang,Lu Xu,Peng Pan,Chunlai Ma
発行日 2025-03-12 03:46:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | RFUAV: A Benchmark Dataset for Unmanned Aerial Vehicle Detection and Identification はコメントを受け付けていません

ManeuverGPT Agentic Control for Safe Autonomous Stunt Maneuvers

投稿日: 2025年3月13日 作成者: jarxiv

要約

自動運転車の次世代のアクティブな安全機能は、車両のハンドリングの限界で高能力の動きを達成するために、プロのスタントドライバーが実行したものと同様の回避的なハザード回避策を安全に実行できる必要があります。
このペーパーでは、コントローラーとして大規模な言語モデル（LLM）ベースのエージェントを使用して自動運転車で高ダイナミックスタント操作を生成および実行するための新しいフレームワークであるManeuvergptを紹介します。
Jターンなどの積極的な操作は、カーラシミュレーション環境内でターゲットをターゲットにし、モデルの重みを再調整せずにタブララサを開始するための反復的で迅速なアプローチを実証します。
3つの専門的なエージェント（1）ユーザーコマンドをコンテキスト化するためのクエリエンチャーエージェント、（2）操作パラメーターを生成するためのドライバーエージェント、および（3）物理学ベースと安全性の制約を強化するパラメーター有効化エージェントで構成されるエージェントアーキテクチャを提案します。
実験結果は、異なる車両のダイナミクスに適応するテキストプロンプトを介して、複数の車両モデル間でのJターン実行の成功を示しています。
確立された成功基準を介してパフォーマンスを評価し、数値の精度とシナリオの複雑さに関する制限を議論します。
私たちの調査結果は、言語ベースの推論とアルゴリズム検証を組み合わせたハイブリッドアプローチの重要性を強調しながら、LLM駆動型制御の柔軟で高陽性の操作の可能性を強調しています。

要約(オリジナル)

The next generation of active safety features in autonomous vehicles should be capable of safely executing evasive hazard-avoidance maneuvers akin to those performed by professional stunt drivers to achieve high-agility motion at the limits of vehicle handling. This paper presents a novel framework, ManeuverGPT, for generating and executing high-dynamic stunt maneuvers in autonomous vehicles using large language model (LLM)-based agents as controllers. We target aggressive maneuvers, such as J-turns, within the CARLA simulation environment and demonstrate an iterative, prompt-based approach to refine vehicle control parameters, starting tabula rasa without retraining model weights. We propose an agentic architecture comprised of three specialized agents (1) a Query Enricher Agent for contextualizing user commands, (2) a Driver Agent for generating maneuver parameters, and (3) a Parameter Validator Agent that enforces physics-based and safety constraints. Experimental results demonstrate successful J-turn execution across multiple vehicle models through textual prompts that adapt to differing vehicle dynamics. We evaluate performance via established success criteria and discuss limitations regarding numeric precision and scenario complexity. Our findings underscore the potential of LLM-driven control for flexible, high-dynamic maneuvers, while highlighting the importance of hybrid approaches that combine language-based reasoning with algorithmic validation.

arxiv情報

著者 Shawn Azdam,Pranav Doma,Aliasghar Moj Arab
発行日 2025-03-12 03:51:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO, cs.SY, eess.SY | ManeuverGPT Agentic Control for Safe Autonomous Stunt Maneuvers はコメントを受け付けていません

Motion Blender Gaussian Splatting for Dynamic Reconstruction

投稿日: 2025年3月13日 作成者: jarxiv

要約

Gaussian Spluttingは、動的なシーンの高忠実度再構築のための強力なツールとして浮上しています。
ただし、既存の方法は、主にニューラルネットワークへの動きをエンコードするなど、暗黙の運動表現やガウスごとのパラメーターに依存しているため、再構築された動きをさらに操作することが困難になります。
この明示的な制御可能性の欠如は、既存の方法を記録された動きのみを再生するために制限し、より広いアプリケーションを妨げます。
これに対処するために、モーショングラフを明示的でまばらなモーション表現として使用する新しいフレームワークであるモーションブレンダーガウススプラッティング（MB-GS）を提案します。
グラフリンクの動きは、デュアルQuaternionのスキニングを介して個々のガウスに伝播され、学習可能な重量塗装機能が各リンクの影響を決定します。
モーショングラフと3Dガウスは、微分可能なレンダリングを介して入力ビデオから共同で最適化されています。
実験では、MB-GSがiPhoneデータセットで最先端のパフォーマンスを達成しながら、Hypernerfで競争力があることが示されています。
さらに、モーション編集を通じて新しいオブジェクトの動きとロボットのデモンストレーションを生成する方法のアプリケーションの可能性を示します。
ビデオデモンストレーションは、https：//mlzxy.github.io/mbgsにあります。

要約(オリジナル)

Gaussian splatting has emerged as a powerful tool for high-fidelity reconstruction of dynamic scenes. However, existing methods primarily rely on implicit motion representations, such as encoding motions into neural networks or per-Gaussian parameters, which makes it difficult to further manipulate the reconstructed motions. This lack of explicit controllability limits existing methods to replaying recorded motions only, which hinders a wider application. To address this, we propose Motion Blender Gaussian Splatting (MB-GS), a novel framework that uses motion graph as an explicit and sparse motion representation. The motion of graph links is propagated to individual Gaussians via dual quaternion skinning, with learnable weight painting functions determining the influence of each link. The motion graphs and 3D Gaussians are jointly optimized from input videos via differentiable rendering. Experiments show that MB-GS achieves state-of-the-art performance on the iPhone dataset while being competitive on HyperNeRF. Additionally, we demonstrate the application potential of our method in generating novel object motions and robot demonstrations through motion editing. Video demonstrations can be found at https://mlzxy.github.io/mbgs.

arxiv情報

著者 Xinyu Zhang,Haonan Chang,Yuhan Liu,Abdeslam Boularias
発行日 2025-03-12 03:55:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO | Motion Blender Gaussian Splatting for Dynamic Reconstruction はコメントを受け付けていません