Understanding Particles From Video: Property Estimation of Granular Materials via Visuo-Haptic Learning

要約

粒状物質（GM）は日常生活のいたるところにある。その特性を理解することは、特に農業や工業において重要である。しかし、既存の研究では、専用の測定装置が必要であり、また、多数の粒子を扱うために大きな人手が必要である。本論文では、GMとの相互作用の映像から粒子径と密度の相対値を推定する方法を紹介する。本手法は、接触モデルに着想を得た視覚触覚学習フレームワークで学習され、GMにおけるプローブ引きずり動作中のGM特性と視覚触覚データの間に強い相関があることを明らかにする。訓練後、ネットワークは視覚モダリティを触覚信号にうまく対応付けることができ、その潜在埋め込みにおいて、接触モデルで解釈されるような粒子特性の相対分布を暗黙的に特徴付けることができる。そのため、学習されたエンコーダを用いてGM特性を解析することができ、余分な感覚モダリティやラベリングのための人間の努力なしに、視覚情報のみを必要とする。提示されたGM特性推定器は、比較実験とアブレーション実験により広く検証された。また、汎化能力も評価され、浜辺での実際の応用も実証されている。実験動画は ㊤https://sites.google.com/view/gmwork/vhlearning ㊦ でご覧いただけます。

要約(オリジナル)

Granular materials (GMs) are ubiquitous in daily life. Understanding their properties is also important, especially in agriculture and industry. However, existing works require dedicated measurement equipment and also need large human efforts to handle a large number of particles. In this paper, we introduce a method for estimating the relative values of particle size and density from the video of the interaction with GMs. It is trained on a visuo-haptic learning framework inspired by a contact model, which reveals the strong correlation between GM properties and the visual-haptic data during the probe-dragging in the GMs. After training, the network can map the visual modality well to the haptic signal and implicitly characterize the relative distribution of particle properties in its latent embeddings, as interpreted in that contact model. Therefore, we can analyze GM properties using the trained encoder, and only visual information is needed without extra sensory modalities and human efforts for labeling. The presented GM property estimator has been extensively validated via comparison and ablation experiments. The generalization capability has also been evaluated and a real-world application on the beach is also demonstrated. Experiment videos are available at \url{https://sites.google.com/view/gmwork/vhlearning} .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL