Instance Performance Difference: A Metric to Measure the Sim-To-Real Gap in Camera Simulation

要約

この寄稿では、ロボット認識タスクが実際の画像と合成画像を操作するときに経験するパフォーマンスのギャップを測定するために設計された指標であるインスタンス パフォーマンス差 (IPD) の概念を紹介します。
画像内の合成インスタンスと実際のインスタンスをペアにし、認識アルゴリズムを使用してそれらのパフォーマンスの類似性を評価することにより、IPD は、現実世界のアプリケーションのニーズと密接に一致するターゲットを絞ったメトリクスを提供します。
月の地形画像での岩石検出タスクを通じてこの指標を説明および実証し、最も現実的な画像合成方法を特定する際の IPD の有効性を強調します。
したがって、このメトリクスは、現実世界の写真のような認識タスクを実行する合成画像データセットを作成するのに役立ちます。
これにより、現実世界のロボット工学アプリケーションにおける知覚アルゴリズムの堅牢なシムからリアルへの転送がサポートされます。

要約(オリジナル)

In this contribution, we introduce the concept of Instance Performance Difference (IPD), a metric designed to measure the gap in performance that a robotics perception task experiences when working with real vs. synthetic pictures. By pairing synthetic and real instances in the pictures and evaluating their performance similarity using perception algorithms, IPD provides a targeted metric that closely aligns with the needs of real-world applications. We explain and demonstrate this metric through a rock detection task in lunar terrain images, highlighting the IPD’s effectiveness in identifying the most realistic image synthesis method. The metric is thus instrumental in creating synthetic image datasets that perform in perception tasks like real-world photo counterparts. In turn, this supports robust sim-to-real transfer for perception algorithms in real-world robotics applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google