要約
液体の認識はロボットによる注出作業にとって非常に重要です。
通常、流れる液体を確実に視覚的に検出する必要があります。
ただし、最近の研究では液体知覚において有望な結果が示されていますが、通常、モデルのトレーニングにはラベル付きデータが必要であり、このプロセスは時間がかかり、人手に依存しています。
この目的を達成するために、この文書では、ロボットによる注湯作業のツールとして機能する、シンプルかつ効果的なフレームワーク PourIt! を提案します。
面倒なピクセル単位の注釈への依存を減らすために、画像レベルのラベルのみを必要とするシンプルなデータ収集パイプラインを設計します。
次に、二値分類モデルをトレーニングして、これら 2 種類の収集データ間の視覚的な違い、つまり液滴の有無に焦点を当てたクラス アクティベーション マップ (CAM) を生成します。
また、CAM の品質を向上させるためのフィーチャ コントラスト戦略を考案し、実際の液体領域を完全かつしっかりとカバーします。
次に、コンテナの姿勢をさらに利用して、検出された液体領域の 3D 点群の復元を容易にします。
最後に、物理ロボットの視覚的な閉ループ制御のために、液体から容器までの距離が計算されます。
提案した方法の有効性を検証するために、タスクに新しいデータセットを提供し、それに PourIt! という名前を付けます。
データセット。
このデータセットと物理的な Franka ロボットに関する広範な結果により、ロボットによる注湯タスクにおける私たちの方法の有用性と有効性が示されました。
データセット、コード、事前トレーニング済みモデルはプロジェクト ページから入手できます。
要約(オリジナル)
Liquid perception is critical for robotic pouring tasks. It usually requires the robust visual detection of flowing liquid. However, while recent works have shown promising results in liquid perception, they typically require labeled data for model training, a process that is both time-consuming and reliant on human labor. To this end, this paper proposes a simple yet effective framework PourIt!, to serve as a tool for robotic pouring tasks. We design a simple data collection pipeline that only needs image-level labels to reduce the reliance on tedious pixel-wise annotations. Then, a binary classification model is trained to generate Class Activation Map (CAM) that focuses on the visual difference between these two kinds of collected data, i.e., the existence of liquid drop or not. We also devise a feature contrast strategy to improve the quality of the CAM, thus entirely and tightly covering the actual liquid regions. Then, the container pose is further utilized to facilitate the 3D point cloud recovery of the detected liquid region. Finally, the liquid-to-container distance is calculated for visual closed-loop control of the physical robot. To validate the effectiveness of our proposed method, we also contribute a novel dataset for our task and name it PourIt! dataset. Extensive results on this dataset and physical Franka robot have shown the utility and effectiveness of our method in the robotic pouring tasks. Our dataset, code and pre-trained models will be available on the project page.
arxiv情報
| 著者 | Haitao Lin,Yanwei Fu,Xiangyang Xue |
| 発行日 | 2023-07-21 01:59:41+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google