A Review and Efficient Implementation of Scene Graph Generation Metrics

要約

シーン グラフの生成は、コンピューター ビジョンの著名な研究分野として浮上しており、近年大幅な進歩を遂げています。
ただし、これらの進歩にもかかわらず、シーン グラフ生成モデルの評価に使用されるメトリックの正確かつ徹底的な定義が不足しています。
このペーパーでは、シーン グラフの生成で一般的に使用されるメトリックのレビューと正確な定義を提供することで、文献におけるこのギャップに対処します。
私たちの包括的な調査により、これらのメトリクスの基礎となる原則が明らかになり、シーン グラフ メトリクスの参照または入門として役立ちます。
さらに、これらのメトリクスの使用を容易にするために、定義されたすべてのメトリクスを効率的に実装し、研究コミュニティへのアクセスを保証する SGBench と呼ばれるスタンドアロン Python パッケージを導入します。
さらに、研究者がシーン グラフの生成方法を比較し、新しい方法の可視性を一元的に高めることができる、シーン グラフ ベンチマーク Web サービスを紹介します。
すべてのコードは https://lorjul.github.io/sgbench/ にあります。

要約(オリジナル)

Scene graph generation has emerged as a prominent research field in computer vision, witnessing significant advancements in the recent years. However, despite these strides, precise and thorough definitions for the metrics used to evaluate scene graph generation models are lacking. In this paper, we address this gap in the literature by providing a review and precise definition of commonly used metrics in scene graph generation. Our comprehensive examination clarifies the underlying principles of these metrics and can serve as a reference or introduction to scene graph metrics. Furthermore, to facilitate the usage of these metrics, we introduce a standalone Python package called SGBench that efficiently implements all defined metrics, ensuring their accessibility to the research community. Additionally, we present a scene graph benchmarking web service, that enables researchers to compare scene graph generation methods and increase visibility of new methods in a central place. All of our code can be found at https://lorjul.github.io/sgbench/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google