Component Selection for Craft Assembly Tasks

要約

入手可能なオブジェクトに基づいて即興で組み立てる伝統的な手作り工芸品からインスピレーションを得て、クラフト アセンブリ タスクを正式に導入します。
これは、パーツに直接対応しない利用可能なオブジェクトを使用して、特定のターゲット オブジェクトの正確な表現を構築するロボットによる組み立てタスクです。
この作業では、指定された入力が野生のターゲットの RGB 画像である場合に、最終的なクラフトに利用可能なオブジェクトのサブセットを選択することに焦点を当てます。
マスク セグメンテーション ニューラル ネットワークを使用して目に見える部分を識別し、続いてラベル付きのテンプレート メッシュを取得します。
これらのメッシュはポーズの最適化を経て、最適なテンプレートが決定されます。
次に、変換されたテンプレート メッシュの一部を直方体や円柱などのプリミティブな形状に単純化することを提案します。
最後に、ローカルおよびグローバルな比率に基づいてシーン内の対応関係を見つける検索アルゴリズムを設計します。
私たちは、考えられるすべての組み合わせを考慮した比較用のベースラインを開発し、前景マップとマスク精度で使用される一般的なメトリクスに対して最高スコアの組み合わせを選択します。
私たちのアプローチは、2 つの異なるシーンのベースラインと同等の結果を達成し、現実世界のシナリオでの実装に関する定性的な結果を示しています。

要約(オリジナル)

Inspired by traditional handmade crafts, where a person improvises assemblies based on the available objects, we formally introduce the Craft Assembly Task. It is a robotic assembly task that involves building an accurate representation of a given target object using the available objects, which do not directly correspond to its parts. In this work, we focus on selecting the subset of available objects for the final craft, when the given input is an RGB image of the target in the wild. We use a mask segmentation neural network to identify visible parts, followed by retrieving labelled template meshes. These meshes undergo pose optimization to determine the most suitable template. Then, we propose to simplify the parts of the transformed template mesh to primitive shapes like cuboids or cylinders. Finally, we design a search algorithm to find correspondences in the scene based on local and global proportions. We develop baselines for comparison that consider all possible combinations, and choose the highest scoring combination for common metrics used in foreground maps and mask accuracy. Our approach achieves comparable results to the baselines for two different scenes, and we show qualitative results for an implementation in a real-world scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google