RobotPerf: An Open-Source, Vendor-Agnostic, Benchmarking Suite for Evaluating Robotics Computing System Performance

要約

RobotPerf は、ROS 2 を共通のベースラインとして使用し、さまざまなハードウェア プラットフォームにわたるロボット コンピューティングのパフォーマンスを評価するように設計された、ベンダーに依存しないベンチマーク スイートです。
このスイートには、完全なロボティクス パイプラインをカバーする ROS 2 パッケージが含まれており、2 つの異なるベンチマーク アプローチを統合しています。1 つは上位層を削除し、テスト アプリケーションに置き換えることでパフォーマンスを測定するブラック ボックス テスト、もう 1 つはアプリケーション固有の測定であるグレー ボックス テストです。
干渉を最小限に抑えながら内部システムの状態を観察します。
当社のベンチマーク フレームワークは、すぐに使用できるツールを提供しており、カスタム ROS 2 計算グラフの評価に簡単に適応できます。
RobotPerf は、一流のロボット アーキテクトとシステム アーキテクチャの専門家の知識を活用して、ロボット工学ベンチマークへの標準化されたアプローチを確立します。
オープンソースの取り組みとして、RobotPerf はハードウェア アクセラレーションによるロボット工学の未来を前進させるために、コミュニティからの意見を取り入れて進化することに引き続き取り組んでいます。

要約(オリジナル)

We introduce RobotPerf, a vendor-agnostic benchmarking suite designed to evaluate robotics computing performance across a diverse range of hardware platforms using ROS 2 as its common baseline. The suite encompasses ROS 2 packages covering the full robotics pipeline and integrates two distinct benchmarking approaches: black-box testing, which measures performance by eliminating upper layers and replacing them with a test application, and grey-box testing, an application-specific measure that observes internal system states with minimal interference. Our benchmarking framework provides ready-to-use tools and is easily adaptable for the assessment of custom ROS 2 computational graphs. Drawing from the knowledge of leading robot architects and system architecture experts, RobotPerf establishes a standardized approach to robotics benchmarking. As an open-source initiative, RobotPerf remains committed to evolving with community input to advance the future of hardware-accelerated robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google