Critical Evaluation of LOCO dataset with Machine Learning

要約

目的: オブジェクト検出は、自動化システムの機械学習テクノロジによって急速に進化しています。
アルゴリズムをトレーニングするには、十分に準備されたデータが必要です。
したがって、この論文の目的は、イントラロジスティクスの分野におけるオブジェクト検出の最初のデータセットである、いわゆる Logistics Objects in Context (LOCO) データセットの再評価について説明することです。
方法論: LOCO データセットを評価するために、3 つのステップを含む実験的研究アプローチを使用します。
まず、GitHub の画像を分析して、データセットをよりよく理解しました。
次に、Google Drive Cloud をトレーニング目的で使用して、アルゴリズムの実装とトレーニングを再検討しました。
最後に、元の出版物と比較して同じトレーニング結果を達成できるかどうか、LOCO データセットを調べました。
調査結果: 私たちの研究で達成されたオブジェクト検出の一般的なベンチマークである平均精度は 64.54% であり、LOCO の著者の最初の研究から大幅に向上し、41% を達成しました。
ただし、特にフォークリフトとパレット トラックのオブジェクト タイプで改善の可能性が見られます。
独創性: この論文は、イントラロジスティクスにおけるオブジェクト検出のための LOCO データセットの最初の重要な複製研究を提示します。
LOCOに基づくより優れたハイパーパラメータを使用したトレーニングは、元の出版物で提示されたよりも高い精度を達成できることを示しています.
ただし、LOCO データセットにはさらに改善の余地があります。

要約(オリジナル)

Purpose: Object detection is rapidly evolving through machine learning technology in automation systems. Well prepared data is necessary to train the algorithms. Accordingly, the objective of this paper is to describe a re-evaluation of the so-called Logistics Objects in Context (LOCO) dataset, which is the first dataset for object detection in the field of intralogistics. Methodology: We use an experimental research approach with three steps to evaluate the LOCO dataset. Firstly, the images on GitHub were analyzed to understand the dataset better. Secondly, Google Drive Cloud was used for training purposes to revisit the algorithmic implementation and training. Lastly, the LOCO dataset was examined, if it is possible to achieve the same training results in comparison to the original publications. Findings: The mean average precision, a common benchmark in object detection, achieved in our study was 64.54%, and shows a significant increase from the initial study of the LOCO authors, achieving 41%. However, improvement potential is seen specifically within object types of forklifts and pallet truck. Originality: This paper presents the first critical replication study of the LOCO dataset for object detection in intralogistics. It shows that the training with better hyperparameters based on LOCO can even achieve a higher accuracy than presented in the original publication. However, there is also further room for improving the LOCO dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google