Interpretable Affordance Detection on 3D Point Clouds with Probabilistic Prototypes

要約

ロボットエージェントは、自律的に、また人間とロボットの相互作用中に、環境でオブジェクトと対話する方法を理解する必要があります。
特定の相互作用を可能にするオブジェクト領域を識別する3Dポイント雲のアフォーデンス検出は、従来、PointNet ++、DGCNN、またはPointTransFormerV3などの深い学習モデルに依存してきました。
ただし、これらのモデルはブラックボックスとして動作し、意思決定プロセスについての洞察を提供しません。
プロトプネットなどのプロトタイプの学習方法は、「これはそのように見える」ケースベースの推論アプローチを採用することにより、ブラックボックスモデルの解釈可能な代替手段を提供します。
ただし、それらは主に画像ベースのタスクに適用されています。
この作業では、3Dポイントクラウドでのアフォーデンス検出のためのモデルにプロトタイプの学習を適用します。
3D-Afbordancenetベンチマークデータセットでの実験は、プロトタイプモデルが最先端のブラックボックスモデルで競争力のあるパフォーマンスを達成し、固有の解釈可能性を提供することを示しています。
これにより、プロトタイプモデルは、信頼と安全性の向上を必要とする人間とロボットの相互作用シナリオの有望な候補になります。

要約(オリジナル)

Robotic agents need to understand how to interact with objects in their environment, both autonomously and during human-robot interactions. Affordance detection on 3D point clouds, which identifies object regions that allow specific interactions, has traditionally relied on deep learning models like PointNet++, DGCNN, or PointTransformerV3. However, these models operate as black boxes, offering no insight into their decision-making processes. Prototypical Learning methods, such as ProtoPNet, provide an interpretable alternative to black-box models by employing a ‘this looks like that’ case-based reasoning approach. However, they have been primarily applied to image-based tasks. In this work, we apply prototypical learning to models for affordance detection on 3D point clouds. Experiments on the 3D-AffordanceNet benchmark dataset show that prototypical models achieve competitive performance with state-of-the-art black-box models and offer inherent interpretability. This makes prototypical models a promising candidate for human-robot interaction scenarios that require increased trust and safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google