Towards Application-Specific Evaluation of Vision Models: Case Studies in Ecology and Biology

要約

コンピュータ・ビジョンの手法は、生態学的・生物学的ワークフローを合理化する大きな可能性を示しており、研究コミュニティが利用できるデータセットやモデルの数も増えてきている。しかし、これらのリソースは、機械学習メトリクスを使用した評価に主眼が置かれており、その適用が下流の分析にどのような影響を与えるかについては比較的強調されていない。我々は、最終的なユースケースの文脈におけるモデルのパフォーマンスを直接表す、アプリケーション固有のメトリクスを用いてモデルを評価すべきであると主張する。(1)カメラトラップによる距離サンプリングで、ビデオベースの行動分類器を使用した場合のチンパンジーの生息数と密度の推定、(2)3D姿勢推定器を使用したハトの頭部回転の推定。我々は、強力な機械学習性能を持つモデル（例えば、87％のmAP）であっても、専門家由来のデータと比較して、生息数の推定に不一致をもたらすデータが得られる可能性があることを示す。同様に、姿勢推定において最も高い性能を持つモデルでも、ハトの視線方向について最も正確な推論を行うことはできない。これらの知見から、生態学的／生物学的データセットにアプリケーションに特化したメトリクスを統合し、モデルが下流のアプリケーションのコンテキストでベンチマークされるようにし、アプリケーションのワークフローへのモデルの統合を促進することを研究者に呼びかける。

要約(オリジナル)

Computer vision methods have demonstrated considerable potential to streamline ecological and biological workflows, with a growing number of datasets and models becoming available to the research community. However, these resources focus predominantly on evaluation using machine learning metrics, with relatively little emphasis on how their application impacts downstream analysis. We argue that models should be evaluated using application-specific metrics that directly represent model performance in the context of its final use case. To support this argument, we present two disparate case studies: (1) estimating chimpanzee abundance and density with camera trap distance sampling when using a video-based behaviour classifier and (2) estimating head rotation in pigeons using a 3D posture estimator. We show that even models with strong machine learning performance (e.g., 87% mAP) can yield data that leads to discrepancies in abundance estimates compared to expert-derived data. Similarly, the highest-performing models for posture estimation do not produce the most accurate inferences of gaze direction in pigeons. Motivated by these findings, we call for researchers to integrate application-specific metrics in ecological/biological datasets, allowing for models to be benchmarked in the context of their downstream application and to facilitate better integration of models into application workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL