Towards Using Multiple Iterated, Reproduced, and Replicated Experiments with Robots (MIRRER) for Evaluation and Benchmarking

要約

ロボット研究分野には、汎用性（さまざまな状況下でロボットがタスクを実行できる能力）や再現性（同じ実験条件下で異なる研究室で再現されたロボットの能力のパフォーマンス）などの高度な能力を評価するための、正式な定義やフレームワークが不足しています。
この論文では、比較可能なロボット研究を促進するために、性能評価、ベンチマーク、再現/再現実験の概念を統合する初期の概念フレームワーク MIRRER を紹介します。
フレームワークの適用に関するいくつかの未解決の問題も提示されます。

要約(オリジナル)

The robotics research field lacks formalized definitions and frameworks for evaluating advanced capabilities including generalizability (the ability for robots to perform tasks under varied contexts) and reproducibility (the performance of a reproduced robot capability in different labs under the same experimental conditions). This paper presents an initial conceptual framework, MIRRER, that unites the concepts of performance evaluation, benchmarking, and reproduced/replicated experimentation in order to facilitate comparable robotics research. Several open issues with the application of the framework are also presented.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google