A Data Efficient Framework for Learning Local Heuristics

要約

機械学習の出現により、効果的で一般化可能なヒューリスティックを学習する試みが最近いくつか行われています。
ローカル ヒューリスティック A* (LoHA*) は、ヒューリスティック推定全体を学習する代わりに、領域から脱出するためのコストを推定する「ローカル」残差ヒューリスティックを学習する最近の手法の 1 つです (Veerapaneni et al 2023)。
LoHA* は、他の教師あり学習手法と同様に、多くの計画問題 (この場合はローカル計画問題) についてオラクルにクエリを実行することによって、目標値のデータセットを収集します。
このデータ収集プロセスは、ローカル領域のサイズが増加する場合、またはドメインで高価な衝突チェックが必要な場合に遅くなる可能性があります。
私たちの主な洞察は、A* 検索が開始目標計画問題を解決すると、本質的に複数のローカル計画問題を解決することになるということです。
私たちはこの観察を利用して、ベースラインと比較して同じ量のデータを収集するのに必要な作業量が 10 分の 1 (拡張によって測定) で済む効率的なデータ収集フレームワークを提案します。
このアイデアにより、LoHA* をオンラインで実行することも可能になり、関連する開始目標タスクを解決しながらデータを反復的に収集してモデルを改善できます。
4D $(x, y, \theta, v)$ ナビゲーション ドメインでのデータ収集とオンライン フレームワークのパフォーマンスを実証します。

要約(オリジナル)

With the advent of machine learning, there have been several recent attempts to learn effective and generalizable heuristics. Local Heuristic A* (LoHA*) is one recent method that instead of learning the entire heuristic estimate, learns a ‘local’ residual heuristic that estimates the cost to escape a region (Veerapaneni et al 2023). LoHA*, like other supervised learning methods, collects a dataset of target values by querying an oracle on many planning problems (in this case, local planning problems). This data collection process can become slow as the size of the local region increases or if the domain requires expensive collision checks. Our main insight is that when an A* search solves a start-goal planning problem it inherently ends up solving multiple local planning problems. We exploit this observation to propose an efficient data collection framework that does <1/10th the amount of work (measured by expansions) to collect the same amount of data in comparison to baselines. This idea also enables us to run LoHA* in an online manner where we can iteratively collect data and improve our model while solving relevant start-goal tasks. We demonstrate the performance of our data collection and online framework on a 4D $(x, y, \theta, v)$ navigation domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google