DanceGRPO: Unleashing GRPO on Visual Generation

投稿日: 2025年5月13日 作成者: jarxiv

要約

生成モデルの最近のブレークスルー特異的に拡散モデルと整流された流れが革新された視覚コンテンツの作成に革命をもたらしましたが、モデルの出力を人間の好みに合わせて整合することは依然として重要な課題です。
視覚生成のための既存の強化学習（RL）ベースの方法は、最新の通常の微分方程式（ODE）ベースのサンプリングパラダイムとの非互換性、大規模なトレーニングの不安定性、ビデオ生成の検証の欠如。
このペーパーでは、グループ相対ポリシーの最適化（GRPO）を視覚生成パラダイムに適応させる最初の統一フレームワークであるDanceGrpoを紹介し、2つの生成パラダイム（拡散モデルと整流フロー）にわたって1つの統一されたRLアルゴリズムを解き放ちます。
Skyreel-I2V）、および5つの報酬モデル（画像/ビデオの美学、テキストイメージのアライメント、ビデオモーションの品質、バイナリ報酬）。
私たちの知る限り、DanceGrpoは、多様な生成パラダイム、タスク、基礎モデル、および報酬モデルにわたってシームレスな適応を可能にする最初のRLベースの統一フレームワークです。
DanceGrpoは、HPS-V2.1、CLIPスコア、ビデオアリグム、Genevalなどのベンチマークでベースラインを最大181％上回る一貫した大幅な改善を示しています。
特に、DanceGrpoは、複雑なビデオ生成のポリシーの最適化を安定させるだけでなく、生成ポリシーがベストアンド推論のスケーリングの除去軌跡をより適切にキャプチャし、まばらなバイナリフィードバックから学習できるようにします。
我々の結果は、視覚生成における人間のフィードバック（RLHF）タスクからの強化学習をスケーリングするための堅牢で多用途のソリューションとしてDanceGrpoを確立し、補強学習と視覚合成の調和に関する新しい洞察を提供します。
コードがリリースされます。

要約(オリジナル)

Recent breakthroughs in generative models-particularly diffusion models and rectified flows-have revolutionized visual content creation, yet aligning model outputs with human preferences remains a critical challenge. Existing reinforcement learning (RL)-based methods for visual generation face critical limitations: incompatibility with modern Ordinary Differential Equations (ODEs)-based sampling paradigms, instability in large-scale training, and lack of validation for video generation. This paper introduces DanceGRPO, the first unified framework to adapt Group Relative Policy Optimization (GRPO) to visual generation paradigms, unleashing one unified RL algorithm across two generative paradigms (diffusion models and rectified flows), three tasks (text-to-image, text-to-video, image-to-video), four foundation models (Stable Diffusion, HunyuanVideo, FLUX, SkyReel-I2V), and five reward models (image/video aesthetics, text-image alignment, video motion quality, and binary reward). To our knowledge, DanceGRPO is the first RL-based unified framework capable of seamless adaptation across diverse generative paradigms, tasks, foundational models, and reward models. DanceGRPO demonstrates consistent and substantial improvements, which outperform baselines by up to 181% on benchmarks such as HPS-v2.1, CLIP Score, VideoAlign, and GenEval. Notably, DanceGRPO not only can stabilize policy optimization for complex video generation, but also enables generative policy to better capture denoising trajectories for Best-of-N inference scaling and learn from sparse binary feedback. Our results establish DanceGRPO as a robust and versatile solution for scaling Reinforcement Learning from Human Feedback (RLHF) tasks in visual generation, offering new insights into harmonizing reinforcement learning and visual synthesis. The code will be released.

arxiv情報

著者 Zeyue Xue,Jie Wu,Yu Gao,Fangyuan Kong,Lingting Zhu,Mengzhao Chen,Zhiheng Liu,Wei Liu,Qiushan Guo,Weilin Huang,Ping Luo
発行日 2025-05-12 17:59:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | DanceGRPO: Unleashing GRPO on Visual Generation はコメントを受け付けていません

H$^{\mathbf{3}}$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning

投稿日: 2025年5月13日 作成者: jarxiv

要約

視覚運動の政策学習は、ロボット操作の大きな進歩を目撃しており、最近のアプローチは、アクション分布をモデル化するために生成モデルに主に依存しています。
ただし、これらの方法は、視覚的知覚とアクション予測の間の重要な結合を見落としていることがよくあります。
この作業では、$ \ textbf {triply-hierarchical拡散ポリシー}〜（\ textbf {h $^{\ mathbf {3}} $ dp}）$を紹介します。
h $^{3} $ dpには、階層の$ \ mathbf {3} $レベルのレベルが含まれています：（1）深度情報に基づいてRGB-D観測を編成する深度認識入力層。
（2）さまざまなレベルの粒度でセマンティック機能をエンコードするマルチスケールの視覚表現。
（3）粗から調整のアクションの生成を対応する視覚的特徴と整列させる階層的に条件付けられた拡散プロセス。
広範な実験では、H $^{3} $ dpが$ \ mathbf {+27.5 \％} $ $ \ mathbf {44} $ $シミュレーションタスク全体でベースライン上の平均相対的改善をもたらし、$ \ mathbf {4} $課題の実質的なマニピュレーションタスクで優れたパフォーマンスを達成することを示しています。
プロジェクトページ：https：//lyy-iiis.github.io/h3dp/。

要約(オリジナル)

Visuomotor policy learning has witnessed substantial progress in robotic manipulation, with recent approaches predominantly relying on generative models to model the action distribution. However, these methods often overlook the critical coupling between visual perception and action prediction. In this work, we introduce $\textbf{Triply-Hierarchical Diffusion Policy}~(\textbf{H$^{\mathbf{3}}$DP})$, a novel visuomotor learning framework that explicitly incorporates hierarchical structures to strengthen the integration between visual features and action generation. H$^{3}$DP contains $\mathbf{3}$ levels of hierarchy: (1) depth-aware input layering that organizes RGB-D observations based on depth information; (2) multi-scale visual representations that encode semantic features at varying levels of granularity; and (3) a hierarchically conditioned diffusion process that aligns the generation of coarse-to-fine actions with corresponding visual features. Extensive experiments demonstrate that H$^{3}$DP yields a $\mathbf{+27.5\%}$ average relative improvement over baselines across $\mathbf{44}$ simulation tasks and achieves superior performance in $\mathbf{4}$ challenging bimanual real-world manipulation tasks. Project Page: https://lyy-iiis.github.io/h3dp/.

arxiv情報

著者 Yiyang Lu,Yufeng Tian,Zhecheng Yuan,Xianbang Wang,Pu Hua,Zhengrong Xue,Huazhe Xu
発行日 2025-05-12 17:59:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.RO | H$^{\mathbf{3}}$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning はコメントを受け付けていません

LLMs Outperform Experts on Challenging Biology Benchmarks

投稿日: 2025年5月13日 作成者: jarxiv

要約

この研究では、分子生物学、遺伝学、クローニング、ウイルス学、およびバイオセキュリティにまたがる8つの生物学ベンチマーク上の27のフロンティアラージモデルを体系的に評価します。
2022年11月から2025年4月までにリリースされた主要なAI開発者のモデルは、ベンチマークごとに10回の独立した実行を通じて評価されました。
調査結果は、生物学的能力の劇的な改善を明らかにしています。
トップモデルのパフォーマンスは、研究期間中のウイルス能力テストの挑戦的なテキストのみのサブセットで4倍以上増加し、OpenaiのO3は現在、専門家のウイルス学者と同じように2回パフォーマンスを遂げています。
いくつかのモデルは、GPQAおよびWMDPの生物学サブセット、ラボベンチCloningscenariosなど、他の挑戦的なベンチマークでエキスパートレベルのパフォーマンスに一致するか、それを超えています。
期待に反して、チェーンオブは、ゼロショット評価よりもパフォーマンスを大幅に向上させませんでしたが、O3-MINIおよびCLAUDE 3.7ソネットの拡張推論機能は通常、推論スケーリングによって予測されるようにパフォーマンスを改善しました。
PubMedQAやMMLUおよびWMDP生物学のサブセットなどのベンチマークは、100％未満のパフォーマンスプラトーを示し、基礎となるベンチマークデータのベンチマーク飽和とエラーを示唆しています。
分析は、AIシステムが進歩し続けるにつれて、より洗練された評価方法論の必要性を強調しています。

要約(オリジナル)

This study systematically evaluates 27 frontier Large Language Models on eight biology benchmarks spanning molecular biology, genetics, cloning, virology, and biosecurity. Models from major AI developers released between November 2022 and April 2025 were assessed through ten independent runs per benchmark. The findings reveal dramatic improvements in biological capabilities. Top model performance increased more than 4-fold on the challenging text-only subset of the Virology Capabilities Test over the study period, with OpenAI’s o3 now performing twice as well as expert virologists. Several models now match or exceed expert-level performance on other challenging benchmarks, including the biology subsets of GPQA and WMDP and LAB-Bench CloningScenarios. Contrary to expectations, chain-of-thought did not substantially improve performance over zero-shot evaluation, while extended reasoning features in o3-mini and Claude 3.7 Sonnet typically improved performance as predicted by inference scaling. Benchmarks such as PubMedQA and the MMLU and WMDP biology subsets exhibited performance plateaus well below 100%, suggesting benchmark saturation and errors in the underlying benchmark data. The analysis highlights the need for more sophisticated evaluation methodologies as AI systems continue to advance.

arxiv情報

著者 Lennart Justen
発行日 2025-05-12 14:17:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, q-bio.QM | LLMs Outperform Experts on Challenging Biology Benchmarks はコメントを受け付けていません

Leveraging Automatic CAD Annotations for Supervised Learning in 3D Scene Understanding

投稿日: 2025年5月13日 作成者: jarxiv

要約

多くのアプリケーションでは、高レベルの3Dシーンの理解が不可欠です。
ただし、正確な3Dアノテーションを生成するという課題により、深い学習モデルの開発が困難になります。
合成CADモデルの自動検索における最近の進歩に目を向け、そのような方法によって生成されたデータは、監督された深い学習モデルをトレーニングするための高品質の地上真理として使用できることを示します。
より正確には、9DポーズとCADモデルを使用して、Scannetシーンのオブジェクトを自動的に注釈するために以前に使用されていたパイプラインと同様のパイプラインを使用します。
今回は、以前はそのような注釈が不足していた最近のScannet ++ V1データセットに適用しました。
私たちの調査結果は、これらの自動化された注釈で深い学習モデルをトレーニングすることが可能であることが可能であることを示していますが、結果のモデルは手動で注釈付きのデータでトレーニングされたモデルよりも優れています。
これは、ポイントクラウドの完了とシングルビューCADモデルの取得とアラインメントの2つの異なるタスクで検証します。
私たちの結果は、自動3Dアノテーションの可能性を強調して、モデルのパフォーマンスを向上させながら、注釈コストを大幅に削減します。
3Dシーンの理解における将来の研究をサポートするために、訓練されたモデルとともに、scannotate ++と呼ばれる注釈をリリースします。

要約(オリジナル)

High-level 3D scene understanding is essential in many applications. However, the challenges of generating accurate 3D annotations make development of deep learning models difficult. We turn to recent advancements in automatic retrieval of synthetic CAD models, and show that data generated by such methods can be used as high-quality ground truth for training supervised deep learning models. More exactly, we employ a pipeline akin to the one previously used to automatically annotate objects in ScanNet scenes with their 9D poses and CAD models. This time, we apply it to the recent ScanNet++ v1 dataset, which previously lacked such annotations. Our findings demonstrate that it is not only possible to train deep learning models on these automatically-obtained annotations but that the resulting models outperform those trained on manually annotated data. We validate this on two distinct tasks: point cloud completion and single-view CAD model retrieval and alignment. Our results underscore the potential of automatic 3D annotations to enhance model performance while significantly reducing annotation costs. To support future research in 3D scene understanding, we will release our annotations, which we call SCANnotate++, along with our trained models.

arxiv情報

著者 Yuchen Rao,Stefan Ainetter,Sinisa Stekovic,Vincent Lepetit,Friedrich Fraundorfer
発行日 2025-05-12 13:54:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | Leveraging Automatic CAD Annotations for Supervised Learning in 3D Scene Understanding はコメントを受け付けていません

Learning to Drive Anywhere with Model-Based Reannotation

投稿日: 2025年5月13日 作成者: jarxiv

要約

ロボットの広く一般化可能な視覚的ナビゲーションポリシーの開発は、主に大規模で多様なトレーニングデータの可用性によって制約される重要な課題です。
研究者によって収集されたキュレーションされたデータセットは高品質を提供しますが、限られたサイズはポリシーの一般化を制限します。
これを克服するために、品質が低いまたは欠落しているアクションラベルの可能性があるにもかかわらず、大量の群衆が供給したテレオ操作データやラベルのないYouTubeビデオを含む、豊富で受動的に収集されたデータソースの活用を探ります。
モデルベースの再発見（MBRA）を提案します。これは、学習した短距離のモデルベースのエキスパートモデルを利用して、これらのパッシブデータセットの高品質のアクションを再評価または生成するフレームワークです。
このリラベルのデータは、視覚的な目標またはGPSウェイポイントを条件付けられた長老ナビゲーションポリシーであるLogOnavに蒸留されます。
MBRA処理データを使用して訓練されたLogONAVは、最先端のパフォーマンスを実現し、以前は見えなかった屋内および屋外環境で300メートルを超える距離にわたって堅牢なナビゲーションを可能にすることを実証します。
3つの大陸の6つの都市でロボットの艦隊（四足動物を含む）で行われた当社の広範な現実世界の評価は、混雑した環境で歩行者の中でも効果的に一般化およびナビゲートするポリシーの能力を検証します。

要約(オリジナル)

Developing broadly generalizable visual navigation policies for robots is a significant challenge, primarily constrained by the availability of large-scale, diverse training data. While curated datasets collected by researchers offer high quality, their limited size restricts policy generalization. To overcome this, we explore leveraging abundant, passively collected data sources, including large volumes of crowd-sourced teleoperation data and unlabeled YouTube videos, despite their potential for lower quality or missing action labels. We propose Model-Based ReAnnotation (MBRA), a framework that utilizes a learned short-horizon, model-based expert model to relabel or generate high-quality actions for these passive datasets. This relabeled data is then distilled into LogoNav, a long-horizon navigation policy conditioned on visual goals or GPS waypoints. We demonstrate that LogoNav, trained using MBRA-processed data, achieves state-of-the-art performance, enabling robust navigation over distances exceeding 300 meters in previously unseen indoor and outdoor environments. Our extensive real-world evaluations, conducted across a fleet of robots (including quadrupeds) in six cities on three continents, validate the policy’s ability to generalize and navigate effectively even amidst pedestrians in crowded settings.

arxiv情報

著者 Noriaki Hirose,Lydia Ignatova,Kyle Stachowicz,Catherine Glossop,Sergey Levine,Dhruv Shah
発行日 2025-05-12 01:50:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO, cs.SY, eess.SY | Learning to Drive Anywhere with Model-Based Reannotation はコメントを受け付けていません

Learning to Drive Anywhere with Model-Based Reannotation11

投稿日: 2025年5月12日 作成者: jarxiv

要約

ロボットの広く一般化可能な視覚的ナビゲーションポリシーの開発は、主に大規模で多様なトレーニングデータの可用性によって制約される重要な課題です。
研究者によって収集されたキュレーションされたデータセットは高品質を提供しますが、限られたサイズはポリシーの一般化を制限します。
これを克服するために、品質が低いまたは欠落しているアクションラベルの可能性があるにもかかわらず、大量の群衆が供給したテレオ操作データやラベルのないYouTubeビデオを含む、豊富で受動的に収集されたデータソースの活用を探ります。
モデルベースの再発見（MBRA）を提案します。これは、学習した短距離のモデルベースのエキスパートモデルを利用して、これらのパッシブデータセットの高品質のアクションを再評価または生成するフレームワークです。
このリラベルのデータは、視覚的な目標またはGPSウェイポイントを条件付けられた長老ナビゲーションポリシーであるLogOnavに蒸留されます。
MBRA処理データを使用して訓練されたLogONAVは、最先端のパフォーマンスを実現し、以前は見えなかった屋内および屋外環境で300メートルを超える距離にわたって堅牢なナビゲーションを可能にすることを実証します。
3つの大陸の6つの都市でロボットの艦隊（四足動物を含む）で行われた当社の広範な現実世界の評価は、混雑した環境で歩行者の中でも効果的に一般化およびナビゲートするポリシーの能力を検証します。

要約(オリジナル)

Developing broadly generalizable visual navigation policies for robots is a significant challenge, primarily constrained by the availability of large-scale, diverse training data. While curated datasets collected by researchers offer high quality, their limited size restricts policy generalization. To overcome this, we explore leveraging abundant, passively collected data sources, including large volumes of crowd-sourced teleoperation data and unlabeled YouTube videos, despite their potential for lower quality or missing action labels. We propose Model-Based ReAnnotation (MBRA), a framework that utilizes a learned short-horizon, model-based expert model to relabel or generate high-quality actions for these passive datasets. This relabeled data is then distilled into LogoNav, a long-horizon navigation policy conditioned on visual goals or GPS waypoints. We demonstrate that LogoNav, trained using MBRA-processed data, achieves state-of-the-art performance, enabling robust navigation over distances exceeding 300 meters in previously unseen indoor and outdoor environments. Our extensive real-world evaluations, conducted across a fleet of robots (including quadrupeds) in six cities on three continents, validate the policy’s ability to generalize and navigate effectively even amidst pedestrians in crowded settings.

arxiv情報

著者 Noriaki Hirose,Lydia Ignatova,Kyle Stachowicz,Catherine Glossop,Sergey Levine,Dhruv Shah
発行日 2025-05-08 18:43:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO, cs.SY, eess.SY | Learning to Drive Anywhere with Model-Based Reannotation11 はコメントを受け付けていません

KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands

投稿日: 2025年5月12日 作成者: jarxiv

要約

不足しているソフトロボットハンドは、固有の安全性と適応性の利点を厳格なシステムに比べて優れていますが、器用な操作スキルの開発は依然として困難です。
模倣学習は複雑な操作タスクの可能性を示していますが、従来のアプローチは、デモの収集の課題と効果のない状態表現のためにソフトシステムと闘っています。
Kinesoftは、コントロールの課題としてではなく、スキル教育の優位性として自然なコンプライアンスを活用することにより、ソフトロボットハンドの直接的な運動感覚教育を可能にするフレームワークです。
Kinesoftは2つの重要な貢献をしています。（1）閉塞のない固有受容形状推定を提供する内部ひずみセンシングアレイ、および（2）低レベルの形状条件付きコントローラーで拡散ベースのポリシーに固有受容フィードバックを使用する形状ベースの模倣学習フレームワーク。
これにより、人間のデモ参加者はロボットを物理的に導くことができ、システムは固有受容パターンを成功した操作戦略と関連付けることを学びます。
物理的実験を通じてKinesoftを検証し、ベースライン方法、正確な形状追跡、およびベースライン模倣学習アプローチと比較してより高いタスク成功率と比較して優れた形状推定精度を示します。

要約(オリジナル)

Underactuated soft robot hands offer inherent safety and adaptability advantages over rigid systems, but developing dexterous manipulation skills remains challenging. While imitation learning shows promise for complex manipulation tasks, traditional approaches struggle with soft systems due to demonstration collection challenges and ineffective state representations. We present KineSoft, a framework enabling direct kinesthetic teaching of soft robotic hands by leveraging their natural compliance as a skill teaching advantage rather than only as a control challenge. KineSoft makes two key contributions: (1) an internal strain sensing array providing occlusion-free proprioceptive shape estimation, and (2) a shape-based imitation learning framework that uses proprioceptive feedback with a low-level shape-conditioned controller to ground diffusion-based policies. This enables human demonstrators to physically guide the robot while the system learns to associate proprioceptive patterns with successful manipulation strategies. We validate KineSoft through physical experiments, demonstrating superior shape estimation accuracy compared to baseline methods, precise shape-trajectory tracking, and higher task success rates compared to baseline imitation learning approaches.

arxiv情報

著者 Uksang Yoo,Jonathan Francis,Jean Oh,Jeffrey Ichnowski
発行日 2025-05-08 19:58:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands はコメントを受け付けていません

CityNavAgent: Aerial Vision-and-Language Navigation with Hierarchical Semantic Planning and Global Memory

投稿日: 2025年5月12日 作成者: jarxiv

要約

自然言語の指示を解釈し、複雑な都市環境をナビゲートするためにドローンを要求する空中ビジョンと言語のナビゲーション（VLN）は、人間とロボットの相互作用、3D空間推論、および実際の世界の展開を橋渡しする重要な具体化されたAI課題として浮上します。
既存の地上VLNエージェントは、屋内および屋外の設定で顕著な結果を達成しましたが、事前定義されたナビゲーショングラフが存在しないことと、長期探索で指数関数的に拡大するアクションスペースがあるため、空中VLNで苦労しています。
この作業では、都市の空中VLNのナビゲーションの複雑さを大幅に削減する大規模な言語モデル（LLM）容易なエージェントである\ TextBF {CityNavagent}を提案します。
具体的には、長距離タスクを異なるセマンティックレベルのサブゴールに分解する階層セマンティックプランニングモジュール（HSPM）を設計します。
エージェントは、LLMの異なる容量でサブゴールを達成することにより、徐々にターゲットに到達します。
さらに、歴史的な軌跡をトポロジグラフに保存するグローバルメモリモジュールが開発され、訪問されたターゲットのナビゲーションを簡素化します。
広範なベンチマーク実験は、私たちの方法が大幅な改善を伴う最先端のパフォーマンスを達成することを示しています。
さらなる実験は、連続都市環境における航空VLNに対するCityNavagentのさまざまなモジュールの有効性を示しています。
このコードは、\ href {https://github.com/vinceouti/citynavagent} {link}で利用できます。

要約(オリジナル)

Aerial vision-and-language navigation (VLN), requiring drones to interpret natural language instructions and navigate complex urban environments, emerges as a critical embodied AI challenge that bridges human-robot interaction, 3D spatial reasoning, and real-world deployment. Although existing ground VLN agents achieved notable results in indoor and outdoor settings, they struggle in aerial VLN due to the absence of predefined navigation graphs and the exponentially expanding action space in long-horizon exploration. In this work, we propose \textbf{CityNavAgent}, a large language model (LLM)-empowered agent that significantly reduces the navigation complexity for urban aerial VLN. Specifically, we design a hierarchical semantic planning module (HSPM) that decomposes the long-horizon task into sub-goals with different semantic levels. The agent reaches the target progressively by achieving sub-goals with different capacities of the LLM. Additionally, a global memory module storing historical trajectories into a topological graph is developed to simplify navigation for visited targets. Extensive benchmark experiments show that our method achieves state-of-the-art performance with significant improvement. Further experiments demonstrate the effectiveness of different modules of CityNavAgent for aerial VLN in continuous city environments. The code is available at \href{https://github.com/VinceOuti/CityNavAgent}{link}.

arxiv情報

著者 Weichen Zhang,Chen Gao,Shiquan Yu,Ruiying Peng,Baining Zhao,Qian Zhang,Jinqiang Cui,Xinlei Chen,Yong Li
発行日 2025-05-08 20:01:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | CityNavAgent: Aerial Vision-and-Language Navigation with Hierarchical Semantic Planning and Global Memory はコメントを受け付けていません

Closing the Loop: Motion Prediction Models beyond Open-Loop Benchmarks

投稿日: 2025年5月12日 作成者: jarxiv

要約

モーション予測の競争とベンチマークに支えられている近年、数百万のパラメーターを備えたますます大規模な学習ベースの予測モデルが出現し、オープンループ予測の精度の改善に焦点を当てています。
ただし、これらのベンチマークは、自律運転スタックに統合された場合、このような改善がパフォーマンスの向上につながるかどうかを評価できません。
この作業では、最先端のモーション予測因子とモーションプランナーとの相互作用を体系的に評価します。
我々の結果は、より高いオープンループの精度が常により良い閉ループの駆動挙動と相関するわけではなく、予測の時間的一貫性やプランナーの互換性などの他の要因も重要な役割を果たしていることを示しています。
さらに、これらのモデルの縮小されたバリアントを調査し、驚くべきことに、パラメーターが最大86％少ないモデルが同等または優れた閉ループ駆動性能を得ることがあることがわかります。
私たちのコードは、https：//github.com/continental/pred2planで入手できます。

要約(オリジナル)

Fueled by motion prediction competitions and benchmarks, recent years have seen the emergence of increasingly large learning based prediction models, many with millions of parameters, focused on improving open-loop prediction accuracy by mere centimeters. However, these benchmarks fail to assess whether such improvements translate to better performance when integrated into an autonomous driving stack. In this work, we systematically evaluate the interplay between state-of-the-art motion predictors and motion planners. Our results show that higher open-loop accuracy does not always correlate with better closed-loop driving behavior and that other factors, such as temporal consistency of predictions and planner compatibility, also play a critical role. Furthermore, we investigate downsized variants of these models, and, surprisingly, find that in some cases models with up to 86% fewer parameters yield comparable or even superior closed-loop driving performance. Our code is available at https://github.com/continental/pred2plan.

arxiv情報

著者 Mohamed-Khalil Bouzidi,Christian Schlauch,Nicole Scheuerer,Yue Yao,Nadja Klein,Daniel Göhring,Jörg Reichardt
発行日 2025-05-08 20:38:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO, cs.SY, eess.SY | Closing the Loop: Motion Prediction Models beyond Open-Loop Benchmarks はコメントを受け付けていません

Adaptive Stress Testing Black-Box LLM Planners

投稿日: 2025年5月12日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は最近、計画、制御、予測などの意思決定タスク全体で一般化することに成功を示していますが、安全でないアウトプットを幻覚化する傾向はリスクをもたらします。
特に安全性の高いシナリオでは、そのような障害を検出することが必要であると主張します。
既存のブラックボックスメソッドは、多くの場合、複数のサンプルにわたって矛盾を識別することにより幻覚を検出します。
これらのアプローチの多くは、通常、詳細な順序をランダム化したり、敵対的な入力を生成したりするなどの迅速な摂動を導入し、自信のあるモデルが安定した出力を生成するように直面しています。
最初に、他の形式の摂動（たとえば、ノイズの追加、センサーの詳細の削除）が運転環境でLLMが幻覚を起こすことを示す手動のケーススタディを実行します。
次に、モンテカルロツリー検索（MCTS）を使用した適応ストレステスト（AST）を使用して、迅速な摂動の空間を効率的に検索するための新しい方法を提案します。
ASTの定式化により、シナリオの発見を可能にし、言語モデルを高い不確実性で動作させるプロンプトが生じます。
多様なシナリオ全体でMCTSプロンプトの摂動ツリーを生成することにより、オフライン分析を実行時に使用して、モデルの不確実性に影響を与えるプロンプトを自動的に生成し、LLMのリアルタイムトラスト評価を通知できることを示します。

要約(オリジナル)

Large language models (LLMs) have recently demonstrated success in generalizing across decision-making tasks including planning, control and prediction, but their tendency to hallucinate unsafe and undesired outputs poses risks. We argue that detecting such failures is necessary, especially in safety-critical scenarios. Existing black-box methods often detect hallucinations by identifying inconsistencies across multiple samples. Many of these approaches typically introduce prompt perturbations like randomizing detail order or generating adversarial inputs, with the intuition that a confident model should produce stable outputs. We first perform a manual case study showing that other forms of perturbations (e.g., adding noise, removing sensor details) cause LLMs to hallucinate in a driving environment. We then propose a novel method for efficiently searching the space of prompt perturbations using Adaptive Stress Testing (AST) with Monte-Carlo Tree Search (MCTS). Our AST formulation enables discovery of scenarios and prompts that cause language models to act with high uncertainty. By generating MCTS prompt perturbation trees across diverse scenarios, we show that offline analyses can be used at runtime to automatically generate prompts that influence model uncertainty, and to inform real-time trust assessments of an LLM.

arxiv情報

著者 Neeloy Chakraborty,John Pohovey,Melkior Ornik,Katherine Driggs-Campbell
発行日 2025-05-08 21:50:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.RO | Adaptive Stress Testing Black-Box LLM Planners はコメントを受け付けていません