QueryCAD: Grounded Question Answering for CAD Models

要約

CAD モデルは業界で広く使用されており、ロボットによる自動化プロセスには不可欠です。
ただし、情報の分析、解釈、抽出に CAD モデルを組み込むことを可能にするすぐに利用できる方法がないため、これらのモデルは、ロボット プログラムの自動合成などの新しい AI ベースのアプローチではほとんど考慮されていません。
これらの制限に対処するために、私たちは QueryCAD を提案します。これは、自然言語クエリを使用して CAD モデルから正確な情報を抽出できる、CAD 質問応答用に設計された最初のシステムです。
QueryCAD には、パーツの説明に基づいて CAD モデルの特定のパーツを識別および選択するために開発されたオープン語彙インスタンス セグメンテーション モデルである SegCAD が組み込まれています。
さらに、QueryCAD を評価し、将来の研究の基盤を確立するために、CAD 質問応答ベンチマークを提案します。
最後に、自動ロボット プログラム合成フレームワーク内に QueryCAD を統合し、CAD モデルを処理できるようにすることでロボット工学向けの深層学習ソリューションを強化する機能を検証します (https://claudius-kienle.github.com/querycad)。

要約(オリジナル)

CAD models are widely used in industry and are essential for robotic automation processes. However, these models are rarely considered in novel AI-based approaches, such as the automatic synthesis of robot programs, as there are no readily available methods that would allow CAD models to be incorporated for the analysis, interpretation, or extraction of information. To address these limitations, we propose QueryCAD, the first system designed for CAD question answering, enabling the extraction of precise information from CAD models using natural language queries. QueryCAD incorporates SegCAD, an open-vocabulary instance segmentation model we developed to identify and select specific parts of the CAD model based on part descriptions. We further propose a CAD question answering benchmark to evaluate QueryCAD and establish a foundation for future research. Lastly, we integrate QueryCAD within an automatic robot program synthesis framework, validating its ability to enhance deep-learning solutions for robotics by enabling them to process CAD models (https://claudius-kienle.github.com/querycad).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google