Leveraging Multi-modal Sensing for Robotic Insertion Tasks in R&D Laboratories

要約

化学実験室で大量の実験を行うと、反復的な作業が発生し、研究者の時間がかかるため、これらのルーチンを自動化することが非常に望ましいです。
ロボット化学におけるこれまでの実験では、多数の実験が自律的に行​​われてきましたが、これらのプロセスは、固体または液体の添加から最終生成物の分析までのすべての段階で自動化された機械に依存しています。
これらのシステムでは、機械間のすべての移行でロボット化学者がガラスバイアルをピックアンドプレースする必要がありますが、これは現在オープンループ方式を使用して実行されており、ロボットが使用するすべての機器が明確に定義された既知の場所にある必要があります。
私たちは、化学実験室環境における人間とロボットのコラボレーションを促進する方法で、このバイアル取り扱いプロセスのループを閉じ始めることを目指しています。
これを行うには、ロボットが収集しているバイアルの有効な配置位置を検出し、検出された位置にバイアルを確実に挿入できなければなりません。
配置位置を推定するための単一モダリティの視覚的方法を作成し、2 つの追加のフィードバック方法 (力と触覚フィードバック) を導入する前にベースラインを提供します。
当社の視覚的手法では、古典的なコンピューター ビジョン手法と CNN ディスクリミネーターの組み合わせを使用して、考えられる挿入ポイントを検出します。その後、バイアルをつかんで挿入ポイントの上に配置し、マルチモーダル手法が効率的な検索パターンを使用して最終的な挿入動作をガイドします。
実験を通じて、「力と視覚」マルチモーダル フィードバック手法を追加すると、ベースライン挿入率 48.78% が 89.55% に向上することがわかりました。

要約(オリジナル)

Performing a large volume of experiments in Chemistry labs creates repetitive actions costing researchers time, automating these routines is highly desirable. Previous experiments in robotic chemistry have performed high numbers of experiments autonomously, however, these processes rely on automated machines in all stages from solid or liquid addition to analysis of the final product. In these systems every transition between machine requires the robotic chemist to pick and place glass vials, however, this is currently performed using open loop methods which require all equipment being used by the robot to be in well defined known locations. We seek to begin closing the loop in this vial handling process in a way which also fosters human-robot collaboration in the chemistry lab environment. To do this the robot must be able to detect valid placement positions for the vials it is collecting, and reliably insert them into the detected locations. We create a single modality visual method for estimating placement locations to provide a baseline before introducing two additional methods of feedback (force and tactile feedback). Our visual method uses a combination of classic computer vision methods and a CNN discriminator to detect possible insertion points, then a vial is grasped and positioned above an insertion point and the multi-modal methods guide the final insertion movements using an efficient search pattern. Through our experiments we show the baseline insertion rate of 48.78% improves to 89.55% with the addition of our ‘force and vision’ multi-modal feedback method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google