HANDLOOM: Learned Tracing of One-Dimensional Objects for Inspection and Manipulation

要約

ケーブル、糸、ホース、ロープなどの長く変形可能な線状オブジェクトの空間状態の推定は、家庭、小売店、工場、建設、輸送、医療などの幅広い作業に役立ちます。
多くの (25 以上) 交差を持つ長い変形可能な線形オブジェクト (DLO または単にケーブル) について、トレースをケーブルのグレースケール画像に適合させる学習ベースのアルゴリズムである HANDLOOM (異種自己回帰学習型変形可能な線形オブジェクトの観察と操作) を紹介します。
各交差に最大 2 つのセグメントが含まれる半平面 DLO 構成で HANDLOOM を評価します。
HANDLOOM は、30,000 のシミュレーション例と 568 個の実際の例でトレーニングされたニューラル ネットワークを利用して、ケーブルの痕跡を自己回帰的に推定し、交差点を分類します。
実験の結果、複数の同一ケーブルを使用した設定において、HANDLOOM は各ケーブルを 80% の精度でトレースできることがわかりました。
単一ケーブルの画像では、HANDLOOM は 77% の精度で結び目をトレースおよび識別できます。
HANDLOOM を両手ロボット システムに組み込むと、80% の精度で結び目を状態に基づいて模倣できるようになり、3 つの難易度レベルにわたってケーブル構成の 64% を解くことに成功しました。
さらに、HANDLOOM は、トレーニング データセットに存在しない結び目のタイプと素材 (ゴム、布ロープ) に対する一般化を 85% の精度で実証します。
すべてのコードとケーブルの RGB-D 画像の注釈付きデータセットとグラウンド トゥルース トレースを含む補足資料は、https://sites.google.com/view/cable-tracing にあります。

要約(オリジナル)

Tracing – estimating the spatial state of – long deformable linear objects such as cables, threads, hoses, or ropes, is useful for a broad range of tasks in homes, retail, factories, construction, transportation, and healthcare. For long deformable linear objects (DLOs or simply cables) with many (over 25) crossings, we present HANDLOOM (Heterogeneous Autoregressive Learned Deformable Linear Object Observation and Manipulation), a learning-based algorithm that fits a trace to a greyscale image of cables. We evaluate HANDLOOM on semi-planar DLO configurations where each crossing involves at most 2 segments. HANDLOOM makes use of neural networks trained with 30,000 simulated examples and 568 real examples to autoregressively estimate traces of cables and classify crossings. Experiments find that in settings with multiple identical cables, HANDLOOM can trace each cable with 80% accuracy. In single-cable images, HANDLOOM can trace and identify knots with 77% accuracy. When HANDLOOM is incorporated into a bimanual robot system, it enables state-based imitation of knot tying with 80% accuracy, and it successfully untangles 64% of cable configurations across 3 levels of difficulty. Additionally, HANDLOOM demonstrates generalization to knot types and materials (rubber, cloth rope) not present in the training dataset with 85% accuracy. Supplementary material, including all code and an annotated dataset of RGB-D images of cables along with ground-truth traces, is at https://sites.google.com/view/cable-tracing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google