Dynamics-aware Diffusion Models for Planning and Control

投稿日: 2025年4月3日 作成者: jarxiv

要約

このペーパーでは、特に環境が複雑で、システムのダイナミクスが実用的なアプリケーションに重要であるシナリオで、拡散モデルを使用して制御タスクの動的に許容可能な軌跡を生成する問題に対処します。
順次予測と投影メカニズムを通じて、システムのダイナミクスを拡散モデルの除去プロセスに直接統合する新しいフレームワークを提案します。
このメカニズムは、拡散モデルのノーシングスケジュールに合わせて、生成された軌道が専門家のデモンストレーションと一致し、根本的な物理的制約を遵守することを保証します。
特に、私たちのアプローチは、明示的なダイナミクスの知識が利用できない場合でも、最尤軌道を生成し、線形フィードバックコントローラーによって生成された軌跡を正確に回復することができます。
標準の制御タスクとウェイポイント追跡と衝突回避を含む複雑な非凸最適制御問題を通じて、実験を通じて私たちの方法の有効性を検証し、実際のアプリケーションで効率的な軌跡生成の可能性を示しています。

要約(オリジナル)

This paper addresses the problem of generating dynamically admissible trajectories for control tasks using diffusion models, particularly in scenarios where the environment is complex and system dynamics are crucial for practical application. We propose a novel framework that integrates system dynamics directly into the diffusion model’s denoising process through a sequential prediction and projection mechanism. This mechanism, aligned with the diffusion model’s noising schedule, ensures generated trajectories are both consistent with expert demonstrations and adhere to underlying physical constraints. Notably, our approach can generate maximum likelihood trajectories and accurately recover trajectories generated by linear feedback controllers, even when explicit dynamics knowledge is unavailable. We validate the effectiveness of our method through experiments on standard control tasks and a complex non-convex optimal control problem involving waypoint tracking and collision avoidance, demonstrating its potential for efficient trajectory generation in practical applications.

arxiv情報

著者 Darshan Gadginmath,Fabio Pasqualetti
発行日 2025-04-02 16:04:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, math.OC | Dynamics-aware Diffusion Models for Planning and Control はコメントを受け付けていません

Overcoming Deceptiveness in Fitness Optimization with Unsupervised Quality-Diversity

投稿日: 2025年4月3日 作成者: jarxiv

要約

ポリシーの最適化は、客観的またはフィットネス機能に従って制御問題に対する最良の解決策を求めており、ロボット工学のアプリケーションを使用したエンジニアリングと研究の基本的な分野として機能します。
強化学習や進化的アルゴリズムなどの従来の最適化方法は、即時の改善に続くと、最適ではないソリューションにつながる、欺cept的なフィットネスの状況と格闘しています。
Quality-Diversity（QD）アルゴリズムは、地元のオプティマを逃れるためのステッピングストーンとして多様な中間ソリューションを維持することにより、有望なアプローチを提供します。
ただし、QDアルゴリズムには、手作りの機能を定義するためにドメインの専門知識が必要であり、ソリューションの多様性を特徴付ける適用性を制限する必要があります。
このホワイトペーパーでは、監視されていないQDアルゴリズム、特に感覚データから機能を学習するAuroraフレームワークは、ドメインの専門知識なしに欺cept的な最適化の問題を効率的に解決することを示します。
対照的な学習と定期的な絶滅イベントでオーロラを強化することにより、すべての従来の最適化ベースラインとマッチを上回るAurora-XCONを提案します。
この作業は、監視されていないQDアルゴリズムの新しいアプリケーションを確立し、従来の最適化への新しいソリューションの発見から焦点を移し、特徴スペースの定義が課題をもたらすドメインに可能性を拡大します。

要約(オリジナル)

Policy optimization seeks the best solution to a control problem according to an objective or fitness function, serving as a fundamental field of engineering and research with applications in robotics. Traditional optimization methods like reinforcement learning and evolutionary algorithms struggle with deceptive fitness landscapes, where following immediate improvements leads to suboptimal solutions. Quality-diversity (QD) algorithms offer a promising approach by maintaining diverse intermediate solutions as stepping stones for escaping local optima. However, QD algorithms require domain expertise to define hand-crafted features, limiting their applicability where characterizing solution diversity remains unclear. In this paper, we show that unsupervised QD algorithms – specifically the AURORA framework, which learns features from sensory data – efficiently solve deceptive optimization problems without domain expertise. By enhancing AURORA with contrastive learning and periodic extinction events, we propose AURORA-XCon, which outperforms all traditional optimization baselines and matches, in some cases even improving by up to 34%, the best QD baseline with domain-specific hand-crafted features. This work establishes a novel application of unsupervised QD algorithms, shifting their focus from discovering novel solutions toward traditional optimization and expanding their potential to domains where defining feature spaces poses challenges.

arxiv情報

著者 Lisa Coiffard,Paul Templier,Antoine Cully
発行日 2025-04-02 17:18:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.NE, cs.RO | Overcoming Deceptiveness in Fitness Optimization with Unsupervised Quality-Diversity はコメントを受け付けていません

Strengthening Multi-Robot Systems for SAR: Co-Designing Robotics and Communication Towards 6G

投稿日: 2025年4月3日 作成者: jarxiv

要約

このホワイトペーパーでは、5Gスタンドアロン（SA）に基づいたEdge-Cloudアーキテクチャをサポートするために、モバイルロボットと通信システムの共同設計を強調して、Search and Rescue（SAR）ミッションからのフィールドテストのユースケースを紹介します。
主な目標は、複数のロボットとファーストレスポンダーの効果的な協力に貢献することです。
当社のフィールドエクスペリエンスには、リスクと被害者の検出のためのハイブリッドワイヤレスセンサーネットワーク（H-WSNS）の開発、ミッションリクエストとパス計画のためのエッジデバイスとしてロボットオペレーティングシステム（ROS）に統合されたスマートフォン、リアルタイムの同時ローカリゼーションとマッピング（SLAM）がマルチアクセスエッジコンピューティング（MEC）を介して犠牲になっている（MEC）の実装。
実際のファーストレスポンダーと協力して実施されたこれらの実験は、インテリジェントなネットワークリソース管理の必要性を強調し、低変速度と高帯域幅の要求のバランスを取ります。
ネットワークスライスは、挑戦的なコミュニケーション条件にもかかわらず、重要な緊急サービスが実行されることを保証するための鍵です。
このペーパーでは、緊急対応能力を高めるために、6Gテクノロジーによって対処すべき建築のニーズ、学んだ教訓、および課題を特定しています。

要約(オリジナル)

This paper presents field-tested use cases from Search and Rescue (SAR) missions, highlighting the co-design of mobile robots and communication systems to support Edge-Cloud architectures based on 5G Standalone (SA). The main goal is to contribute to the effective cooperation of multiple robots and first responders. Our field experience includes the development of Hybrid Wireless Sensor Networks (H-WSNs) for risk and victim detection, smartphones integrated into the Robot Operating System (ROS) as Edge devices for mission requests and path planning, real-time Simultaneous Localization and Mapping (SLAM) via Multi-Access Edge Computing (MEC), and implementation of Uncrewed Ground Vehicles (UGVs) for victim evacuation in different navigation modes. These experiments, conducted in collaboration with actual first responders, underscore the need for intelligent network resource management, balancing low-latency and high-bandwidth demands. Network slicing is key to ensuring critical emergency services are performed despite challenging communication conditions. The paper identifies architectural needs, lessons learned, and challenges to be addressed by 6G technologies to enhance emergency response capabilities.

arxiv情報

著者 Juan Bravo-Arrabal,Ricardo Vázquez-Martín,J. J. Fernández-Lozano,Alfonso García-Cerezo
発行日 2025-04-02 17:47:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Strengthening Multi-Robot Systems for SAR: Co-Designing Robotics and Communication Towards 6G はコメントを受け付けていません

Slot-Level Robotic Placement via Visual Imitation from Single Human Video

投稿日: 2025年4月3日 作成者: jarxiv

要約

最新のロボット学習方法の大部分は、新しいタスクに限られたまたは一般化されていない一連の定義されたタスクの学習に焦点を当てています。
ロボットスキルセットを新しいタスクに拡張するには、追加のタスクのための幅広いトレーニングデータを収集することが含まれます。
この論文では、繰り返しタスクのために人間のデモビデオ（パッキングなど）を使用して、ロボットに新しいタスクを教えるという問題に対処します。
このタスクでは、人間のビデオを理解して、どのオブジェクトが操作されているか（ピックオブジェクト）とそれが配置されている場所（配置スロット）を識別する必要があります。
さらに、タスクのロボット実行を可能にするために、推論中にピックオブジェクトと配置スロットを再識別する必要があります。
これに取り組むために、いくつかの高度な視覚基盤モデルと新しいスロットレベルの配置検出器スロットネットを活用するモジュラーシステムであるSlerpを提案し、トレーニング用の高価なビデオデモンストレーションの必要性を排除します。
実際のビデオの新しいベンチマークを使用して、システムを評価します。
評価結果は、Slerpがいくつかのベースラインを上回り、実際のロボットに展開できることを示しています。

要約(オリジナル)

The majority of modern robot learning methods focus on learning a set of pre-defined tasks with limited or no generalization to new tasks. Extending the robot skillset to novel tasks involves gathering an extensive amount of training data for additional tasks. In this paper, we address the problem of teaching new tasks to robots using human demonstration videos for repetitive tasks (e.g., packing). This task requires understanding the human video to identify which object is being manipulated (the pick object) and where it is being placed (the placement slot). In addition, it needs to re-identify the pick object and the placement slots during inference along with the relative poses to enable robot execution of the task. To tackle this, we propose SLeRP, a modular system that leverages several advanced visual foundation models and a novel slot-level placement detector Slot-Net, eliminating the need for expensive video demonstrations for training. We evaluate our system using a new benchmark of real-world videos. The evaluation results show that SLeRP outperforms several baselines and can be deployed on a real robot.

arxiv情報

著者 Dandan Shan,Kaichun Mo,Wei Yang,Yu-Wei Chao,David Fouhey,Dieter Fox,Arsalan Mousavian
発行日 2025-04-02 17:59:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Slot-Level Robotic Placement via Visual Imitation from Single Human Video はコメントを受け付けていません

KD$^{2}$M: An unifying framework for feature knowledge distillation

投稿日: 2025年4月3日 作成者: jarxiv

要約

知識蒸留（KD）は、生徒のニューラルネットに向けて、教師の知識を転送しようとしています。
このプロセスは、ネットワークの予測（つまり、それらの出力）に一致することによってしばしば行われますが、最近、いくつかの作品がニューラルネットの活性化（つまり、それらの機能）の分布と一致するように提案しました。
この論文では、この戦略を形式化する分布マッチング（kd $^{2} $ m）による統一フレームワーク、知識の蒸留を提案します。
私たちの貢献は3つあります。
i）分布マッチングで使用される分布メトリックの概要、ii）コンピュータービジョンデータセットのベンチマーク、およびiii）KDの新しい理論的結果を導き出します。

要約(オリジナル)

Knowledge Distillation (KD) seeks to transfer the knowledge of a teacher, towards a student neural net. This process is often done by matching the networks’ predictions (i.e., their output), but, recently several works have proposed to match the distributions of neural nets’ activations (i.e., their features), a process known as \emph{distribution matching}. In this paper, we propose an unifying framework, Knowledge Distillation through Distribution Matching (KD$^{2}$M), which formalizes this strategy. Our contributions are threefold. We i) provide an overview of distribution metrics used in distribution matching, ii) benchmark on computer vision datasets, and iii) derive new theoretical results for KD.

arxiv情報

著者 Eduardo Fernandes Montesuma
発行日 2025-04-02 14:14:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | KD$^{2}$M: An unifying framework for feature knowledge distillation はコメントを受け付けていません

Learning with Imperfect Models: When Multi-step Prediction Mitigates Compounding Error

投稿日: 2025年4月3日 作成者: jarxiv

要約

小さな予測間違いが時間とともに蓄積する複合エラーは、学習ベースの制御に大きな課題を提示します。
たとえば、この問題は、多くの場合、モデルベースの強化学習と模倣学習のパフォーマンスを制限します。
複合エラーを緩和するための一般的なアプローチの1つは、単一ステップモデルの自己回帰ロールアウトに依存するのではなく、マルチステップ予測因子を直接トレーニングすることです。
ただし、マルチステップ予測の利点が、より複雑なモデルを学習するという複雑さを上回る場合、それはよく理解されていません。
この作業では、線形動的システムのコンテキストでこのトレードオフの厳密な分析を提供します。
モデルクラスが適切に指定されており、システムのダイナミクスを正確にキャプチャする場合、シングルステップモデルがより低い漸近予測エラーを達成することを示します。
一方、部分的な観測性のためにモデルクラスが誤って指定されると、直接的なマルチステップ予測因子はバイアスを大幅に減らし、したがってシングルステップアプローチを上回ることができます。
これらの理論的結果は数値実験によってサポートされています。また、（a）マルチステップ損失を使用して単一ステップモデルをトレーニングする中間戦略を経験的に評価し、（b）閉ループ制御設定での単一ステップおよびマルチステップ予測因子のパフォーマンスを評価します。

要約(オリジナル)

Compounding error, where small prediction mistakes accumulate over time, presents a major challenge in learning-based control. For example, this issue often limits the performance of model-based reinforcement learning and imitation learning. One common approach to mitigate compounding error is to train multi-step predictors directly, rather than relying on autoregressive rollout of a single-step model. However, it is not well understood when the benefits of multi-step prediction outweigh the added complexity of learning a more complicated model. In this work, we provide a rigorous analysis of this trade-off in the context of linear dynamical systems. We show that when the model class is well-specified and accurately captures the system dynamics, single-step models achieve lower asymptotic prediction error. On the other hand, when the model class is misspecified due to partial observability, direct multi-step predictors can significantly reduce bias and thus outperform single-step approaches. These theoretical results are supported by numerical experiments, wherein we also (a) empirically evaluate an intermediate strategy which trains a single-step model using a multi-step loss and (b) evaluate performance of single step and multi-step predictors in a closed loop control setting.

arxiv情報

著者 Anne Somalwar,Bruce D. Lee,George J. Pappas,Nikolai Matni
発行日 2025-04-02 14:18:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, eess.SY | Learning with Imperfect Models: When Multi-step Prediction Mitigates Compounding Error はコメントを受け付けていません

BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing

投稿日: 2025年4月3日 作成者: jarxiv

要約

3Dグラフィックスの編集は、映画制作やゲームデザインなどのアプリケーションでは重要ですが、非常に専門的なドメインの専門知識を必要とする時間のかかるプロセスのままです。
グラフィカルな編集にはさまざまなタスクを実行する必要があり、それぞれが異なるスキルセットを必要とするため、このプロセスの自動化は困難です。
最近、ビジョン言語モデル（VLM）が編集プロセスを自動化するための強力なフレームワークとして浮上していますが、その開発と評価は、人間レベルの知覚を必要とし、現実世界の編集の複雑さを示す包括的なベンチマークの欠如によってボトルネックされています。
この作業では、3Dグラフィックス編集のための最初の包括的なVLMシステムベンチマークであるBlendergymを提示します。
Blendergymは、コードベースの3D再構成タスクを介してVLMシステムを評価します。
クローズドおよびオープンソースのVLMシステムを評価し、最先端のVLMシステムでさえ、人間のブレンダーユーザーにとって比較的簡単なタスクと闘っていることを観察します。
Blendergymによって有効になっているため、推論スケーリング手法がグラフィックスの編集タスクにVLMのパフォーマンスにどのように影響するかを研究します。
特に、我々の調査結果は、生成のスケーリングをガイドするために使用される検証者自体が推論スケーリングによって改善できることを明らかにし、コーディングおよび数学タスクにおけるLLM生成の推論スケーリングに関する最近の洞察を補完します。
さらに、推論計算は均一に効果的ではなく、生成と検証の間に戦略的に分布することで最適化できることを示します。

要約(オリジナル)

3D graphics editing is crucial in applications like movie production and game design, yet it remains a time-consuming process that demands highly specialized domain expertise. Automating this process is challenging because graphical editing requires performing a variety of tasks, each requiring distinct skill sets. Recently, vision-language models (VLMs) have emerged as a powerful framework for automating the editing process, but their development and evaluation are bottlenecked by the lack of a comprehensive benchmark that requires human-level perception and presents real-world editing complexity. In this work, we present BlenderGym, the first comprehensive VLM system benchmark for 3D graphics editing. BlenderGym evaluates VLM systems through code-based 3D reconstruction tasks. We evaluate closed- and open-source VLM systems and observe that even the state-of-the-art VLM system struggles with tasks relatively easy for human Blender users. Enabled by BlenderGym, we study how inference scaling techniques impact VLM’s performance on graphics editing tasks. Notably, our findings reveal that the verifier used to guide the scaling of generation can itself be improved through inference scaling, complementing recent insights on inference scaling of LLM generation in coding and math tasks. We further show that inference compute is not uniformly effective and can be optimized by strategically distributing it between generation and verification.

arxiv情報

著者 Yunqi Gu,Ian Huang,Jihyeon Je,Guandao Yang,Leonidas Guibas
発行日 2025-04-02 14:51:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GR, cs.LG | BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing はコメントを受け付けていません

Deep Learning for VWAP Execution in Crypto Markets: Beyond the Volume Curve

投稿日: 2025年4月3日 作成者: jarxiv

要約

ボリューム加重平均価格（VWAP）は、市場参加者全体のパフォーマンスを比較するための偏りのない基準を提供するため、貿易実行のための最も一般的なベンチマークです。
ただし、VWAPを達成することは、2つの動的な要因、ボリュームと価格に依存しているため、本質的に困難です。
従来のアプローチは通常、市場の量曲線を予測することに焦点を当てています。これは、安定した条件下では当てはまるかもしれないが、予測誤差マージンが高い暗号通貨などのより揮発性の環境や市場で最適ではないという仮定です。
この研究では、ボリュームカーブ予測の中間ステップをバイパスすることにより、VWAP実行目標を直接最適化する深い学習フレームワークを提案します。
自動分化とカスタム損失関数を活用して、私の方法では、VWAPの滑りを最小限に抑えるために注文割り当てを調整し、それにより実行問題の複雑さに完全に対処します。
私の結果は、この直接的な最適化アプローチが、Arxiv：2410.21448で提示された素朴な線形モデルを利用する場合でも、従来の方法と比較してより低いVWAP滑りを達成することを示しています。
彼らは、VWAPパフォーマンスに最適化された戦略が正確なボリューム曲線予測から分岐する傾向があるという観察を検証し、したがって、実行目標を直接モデル化するという利点を強調しています。
この研究は、揮発性市場でのVWAP実行のためのより効率的で堅牢なフレームワークに貢献し、直接的な客観的最適化が重要な複雑な金融システムにおける深い学習の可能性を示しています。
私の経験的分析は暗号通貨市場に焦点を当てていますが、フレームワークの根底にある原則は、株式などの他の資産クラスに容易に適用できます。

要約(オリジナル)

Volume-Weighted Average Price (VWAP) is arguably the most prevalent benchmark for trade execution as it provides an unbiased standard for comparing performance across market participants. However, achieving VWAP is inherently challenging due to its dependence on two dynamic factors, volumes and prices. Traditional approaches typically focus on forecasting the market’s volume curve, an assumption that may hold true under steady conditions but becomes suboptimal in more volatile environments or markets such as cryptocurrency where prediction error margins are higher. In this study, I propose a deep learning framework that directly optimizes the VWAP execution objective by bypassing the intermediate step of volume curve prediction. Leveraging automatic differentiation and custom loss functions, my method calibrates order allocation to minimize VWAP slippage, thereby fully addressing the complexities of the execution problem. My results demonstrate that this direct optimization approach consistently achieves lower VWAP slippage compared to conventional methods, even when utilizing a naive linear model presented in arXiv:2410.21448. They validate the observation that strategies optimized for VWAP performance tend to diverge from accurate volume curve predictions and thus underscore the advantage of directly modeling the execution objective. This research contributes a more efficient and robust framework for VWAP execution in volatile markets, illustrating the potential of deep learning in complex financial systems where direct objective optimization is crucial. Although my empirical analysis focuses on cryptocurrency markets, the underlying principles of the framework are readily applicable to other asset classes such as equities.

arxiv情報

著者 Remi Genet
発行日 2025-04-02 14:56:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-fin.ST | Deep Learning for VWAP Execution in Crypto Markets: Beyond the Volume Curve はコメントを受け付けていません

Plane-Wave Decomposition and Randomised Training; a Novel Path to Generalised PINNs for SHM

投稿日: 2025年4月3日 作成者: jarxiv

要約

この論文では、フーリエ分解の形式の学習に基づいて、物理学に基づいた神経ネットワーク（PINNS）の定式化と、ランダムに選択された境界条件の広がりに基づくトレーニング方法論を紹介します。
このようにトレーニングすることにより、一般化するPINNを作成します。
トレーニング後、それは任意の一連の境界条件のソリューションを正しく予測し、トレーニングドメインに及ぶサンプル間のこのソリューションを補間するために使用できます。
2つの結合オシレーターのおもちゃシステムに対して、これにより、特定の境界条件からの解のこの分離により、トレーニング時間比と評価時間比の効果的な削減により、PINNの定式化が真の予測機能を与えることを実証します。

要約(オリジナル)

In this paper, we introduce a formulation of Physics-Informed Neural Networks (PINNs), based on learning the form of the Fourier decomposition, and a training methodology based on a spread of randomly chosen boundary conditions. By training in this way we produce a PINN that generalises; after training it can be used to correctly predict the solution for an arbitrary set of boundary conditions and interpolate this solution between the samples that spanned the training domain. We demonstrate for a toy system of two coupled oscillators that this gives the PINN formulation genuine predictive capability owing to an effective reduction of the training to evaluation times ratio due to this decoupling of the solution from specific boundary conditions.

arxiv情報

著者 Rory Clements,James Ellis,Geoff Hassall,Simon Horsley,Gavin Tabor
発行日 2025-04-02 14:59:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.comp-ph | Plane-Wave Decomposition and Randomised Training; a Novel Path to Generalised PINNs for SHM はコメントを受け付けていません

Batch, match, and patch: low-rank approximations for score-based variational inference

投稿日: 2025年4月3日 作成者: jarxiv

要約

ブラックボックス変異推論（BBVI）は、完全な共分散行列を使用して多変量ガウス近似を推定するために使用する場合、高次元の問題に対して不十分にスケーリングします。
このホワイトペーパーでは、スコアベースのBBVIのバッチアンドマッチ（BAM）フレームワークを問題に拡張します。このような共分散行列を保存するのは、それらを推定することは言うまでもなく、問題に費用がかかります。
確率的勾配降下を使用して逆カルバック繰り出しの発散を最小限に抑えるBBVIの古典的なアルゴリズムとは異なり、BAMはより専門的な更新を使用して、ターゲット密度とそのガウス近似のスコアに一致します。
BAMの更新は、完全な共分散行列のよりコンパクトなパラメーター化と統合することにより、それらを拡張します。
特に、因子分析からアイデアを借用すると、BAMの各反復（パッチ）に追加のステップを追加します。これは、新しく更新された各共分散マトリックスを、より効率的にパラメーター化された対角線と低ランクマトリックスに投影します。
このアプローチを、高次元推論におけるさまざまな合成ターゲット分布と現実世界の問題で評価します。

要約(オリジナル)

Black-box variational inference (BBVI) scales poorly to high-dimensional problems when it is used to estimate a multivariate Gaussian approximation with a full covariance matrix. In this paper, we extend the batch-and-match (BaM) framework for score-based BBVI to problems where it is prohibitively expensive to store such covariance matrices, let alone to estimate them. Unlike classical algorithms for BBVI, which use stochastic gradient descent to minimize the reverse Kullback-Leibler divergence, BaM uses more specialized updates to match the scores of the target density and its Gaussian approximation. We extend the updates for BaM by integrating them with a more compact parameterization of full covariance matrices. In particular, borrowing ideas from factor analysis, we add an extra step to each iteration of BaM–a patch–that projects each newly updated covariance matrix into a more efficiently parameterized family of diagonal plus low rank matrices. We evaluate this approach on a variety of synthetic target distributions and real-world problems in high-dimensional inference.

arxiv情報

著者 Chirag Modi,Diana Cai,Lawrence K. Saul
発行日 2025-04-02 15:05:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.CO, stat.ML | Batch, match, and patch: low-rank approximations for score-based variational inference はコメントを受け付けていません