Flow Matching Ergodic Coverage

要約

エルゴジックなカバレッジは、エージェントの軌跡の空間分布をターゲット分布と整列させることにより、具体化されたエージェントの探索的行動を効果的に生成します。これらの2つの分布の差は、エルゴジックメトリックによって測定されます。
ただし、既存のエルゴードカバレッジ方法は、制御合成に利用可能な限られたエルゴード性メトリックのセットによって制約されており、基本的にパフォーマンスを制限しています。
この作業では、効率的でスケーラブルなサンプリングのために生成的推論で広く使用されている手法であるフローマッチングに基づいて、エルゴードのカバレッジへの代替アプローチを提案します。
エルゴジックなカバレッジのフローマッチング問題を正式に導き出し、閉じた型溶液を使用した線形二次調節因子の問題に相当していることを示します。
私たちの定式化により、既存のものの制限を克服する生成的推論からの代替のエルゴード化メトリックが可能になります。
これらのメトリックは、以前は制御合成のために実行不可能でしたが、計算オーバーヘッドなしでサポートできます。
具体的には、Stein変異勾配の流れと一致するフローは、ターゲット分布のスコア関数にわたって直接制御合成を可能にし、非正規化された分布の堅牢性を改善します。
一方、シンホーンの分岐フローと一致するフローは、最適な輸送ベースのエルゴジックメトリックを可能にし、不規則なサポートを備えた非滑らかな分布のカバレッジ性能を向上させます。
包括的な数値ベンチマークを通じて、さまざまな非線形ダイナミクス全体で、方法のパフォーマンスの向上と競争効率を検証します。
さらに、フランカロボットの一連の描画と消去タスクを通じて、方法の実用性を実証します。

要約(オリジナル)

Ergodic coverage effectively generates exploratory behaviors for embodied agents by aligning the spatial distribution of the agent’s trajectory with a target distribution, where the difference between these two distributions is measured by the ergodic metric. However, existing ergodic coverage methods are constrained by the limited set of ergodic metrics available for control synthesis, fundamentally limiting their performance. In this work, we propose an alternative approach to ergodic coverage based on flow matching, a technique widely used in generative inference for efficient and scalable sampling. We formally derive the flow matching problem for ergodic coverage and show that it is equivalent to a linear quadratic regulator problem with a closed-form solution. Our formulation enables alternative ergodic metrics from generative inference that overcome the limitations of existing ones. These metrics were previously infeasible for control synthesis but can now be supported with no computational overhead. Specifically, flow matching with the Stein variational gradient flow enables control synthesis directly over the score function of the target distribution, improving robustness to the unnormalized distributions; on the other hand, flow matching with the Sinkhorn divergence flow enables an optimal transport-based ergodic metric, improving coverage performance on non-smooth distributions with irregular supports. We validate the improved performance and competitive computational efficiency of our method through comprehensive numerical benchmarks and across different nonlinear dynamics. We further demonstrate the practicality of our method through a series of drawing and erasing tasks on a Franka robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google