Text-guided Generation of Efficient Personalized Inspection Plans

要約

我々は、テキスト記述に基づく検査計画を促進するために、訓練不要の視覚言語モデル(VLM)ガイド付き軌跡生成アプローチを提案する。未知の環境における一般的なエージェントのために設計された既存の視覚-言語ナビゲーション(VLN)手法とは異なり、我々のアプローチは、医療、海洋、土木工学などの分野で広く応用されている、既知のシーンの効率的な検査を特にターゲットとしている。VLMを活用することで、我々の手法は、まずテキスト記述から興味のあるポイント（POI）を抽出し、次にPOIが顕著であり、かつプロンプトで定義された空間的制約に合致するウェイポイントの集合を特定する。次に、VLMと対話し、POIの可視性と顕著性を維持しながら、軌跡を繰り返し改良する。さらに、巡回セールスマン問題(TSP)を解いて、テキスト記述に含意された順序制約を満たす最も効率的な訪問順序を見つける。最後に、軌道最適化を適用して、空中・水中車両のための滑らかで実行可能な検査経路を生成する。我々は、手作業と実世界のスキャン環境の両方において、本手法を評価した。その結果、我々のアプローチが、ユーザの指示に忠実な検査計画軌道を効果的に生成することが実証された。

要約(オリジナル)

We propose a training-free, Vision-Language Model (VLM)-guided approach for efficiently generating trajectories to facilitate target inspection planning based on text descriptions. Unlike existing Vision-and-Language Navigation (VLN) methods designed for general agents in unknown environments, our approach specifically targets the efficient inspection of known scenes, with widespread applications in fields such as medical, marine, and civil engineering. Leveraging VLMs, our method first extracts points of interest (POIs) from the text description, then identifies a set of waypoints from which POIs are both salient and align with the spatial constraints defined in the prompt. Next, we interact with the VLM to iteratively refine the trajectory, preserving the visibility and prominence of the POIs. Further, we solve a Traveling Salesman Problem (TSP) to find the most efficient visitation order that satisfies the order constraint implied in the text description. Finally, we apply trajectory optimization to generate smooth, executable inspection paths for aerial and underwater vehicles. We have evaluated our method across a series of both handcrafted and real-world scanned environments. The results demonstrate that our approach effectively generates inspection planning trajectories that adhere to user instructions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL