QueryCAD: Grounded Question Answering for CAD Models

要約

CADモデルは業界で広く使用されており、ロボット自動化プロセスに不可欠です。
ただし、これらのモデルは、情報の分析、解釈、または抽出のためにCADモデルを組み込むことを可能にする容易に利用可能な方法がないため、ロボットプログラムの自動合成など、新しいAIベースのアプローチではめったに考慮されません。
これらの制限に対処するために、CAD質問の回答用に設計された最初のシステムであるQueryCadを提案し、自然言語クエリを使用してCADモデルからの正確な情報を抽出できるようにします。
QueryCadには、パーツの説明に基づいてCADモデルの特定の部分を識別および選択するために開発したオープンボキャブラリーインスタンスセグメンテーションモデルであるSegcadが組み込まれています。
さらに、QueryCadを評価し、将来の研究の基盤を確立するために、CAD質問に応答するベンチマークを提案します。
最後に、QueryCadを自動ロボットプログラム合成フレームワークに統合し、CADモデル（https://claudius-kienle.github.com/querycad）を処理できるようにすることで、ロボット工学の深い学習ソリューションを強化する能力を検証します。

要約(オリジナル)

CAD models are widely used in industry and are essential for robotic automation processes. However, these models are rarely considered in novel AI-based approaches, such as the automatic synthesis of robot programs, as there are no readily available methods that would allow CAD models to be incorporated for the analysis, interpretation, or extraction of information. To address these limitations, we propose QueryCAD, the first system designed for CAD question answering, enabling the extraction of precise information from CAD models using natural language queries. QueryCAD incorporates SegCAD, an open-vocabulary instance segmentation model we developed to identify and select specific parts of the CAD model based on part descriptions. We further propose a CAD question answering benchmark to evaluate QueryCAD and establish a foundation for future research. Lastly, we integrate QueryCAD within an automatic robot program synthesis framework, validating its ability to enhance deep-learning solutions for robotics by enabling them to process CAD models (https://claudius-kienle.github.com/querycad).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google