Articulated Object Manipulation with Coarse-to-fine Affordance for Mitigating the Effect of Point Cloud Noise

要約

3D 多関節オブジェクトは、多関節オブジェクトに関連するさまざまな形状と複雑な機能のため、本質的に操作が困難です。ポイントごとの実用的なスコアを予測し、対話する最適なポイントを提案するポイントレベルのアフォーダンスは、優れたパフォーマンスと一般化を実証しています。
多関節オブジェクト操作の機能。
ただし、大きな課題が残っています。以前の作品ではシミュレーションで生成された完全な点群が使用されていましたが、モデルは現実世界のノイズの多い点群に直接適用できませんでした。
この課題に取り組むために、カメラがオブジェクトに近づくと点群のノイズが少なくなるという、現実世界でスキャンされた点群の特性を利用します。
したがって、点群ノイズの影響を 2 段階で軽減するための、新しい粗いから細かいアフォーダンス学習パイプラインを提案します。
最初の段階では、オブジェクト全体を含むノイズの多い遠方点群に対するアフォーダンスを学習し、操作する近似的な場所を提案します。
次に、カメラを近似した場所の前に移動し、操作用の正確なローカル ジオメトリを含むノイズの少ない点群をスキャンし、そのような点群に対するアフォーダンスを学習して、きめの細かい最終アクションを提案します。
提案された方法は、現実世界のスキャンを模倣した大規模なシミュレートされたノイズのある点群を使用して、および現実世界のシナリオで徹底的に評価され、既存の方法よりも優れており、ノイズのある現実世界の点群問題に取り組む有効性を実証しています。

要約(オリジナル)

3D articulated objects are inherently challenging for manipulation due to the varied geometries and intricate functionalities associated with articulated objects.Point-level affordance, which predicts the per-point actionable score and thus proposes the best point to interact with, has demonstrated excellent performance and generalization capabilities in articulated object manipulation. However, a significant challenge remains: while previous works use perfect point cloud generated in simulation, the models cannot directly apply to the noisy point cloud in the real-world. To tackle this challenge, we leverage the property of real-world scanned point cloud that, the point cloud becomes less noisy when the camera is closer to the object. Therefore, we propose a novel coarse-to-fine affordance learning pipeline to mitigate the effect of point cloud noise in two stages. In the first stage, we learn the affordance on the noisy far point cloud which includes the whole object to propose the approximated place to manipulate. Then, we move the camera in front of the approximated place, scan a less noisy point cloud containing precise local geometries for manipulation, and learn affordance on such point cloud to propose fine-grained final actions. The proposed method is thoroughly evaluated both using large-scale simulated noisy point clouds mimicking real-world scans, and in the real world scenarios, with superiority over existing methods, demonstrating the effectiveness in tackling the noisy real-world point cloud problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google