Embedded Planogram Compliance Control System

要約

小売業界には、高度なパターン認識およびコンピューター ビジョン技術の恩恵を受ける可能性があるいくつかの未解決かつ困難な問題が存在します。
そのような重要な課題の 1 つは、棚割遵守管理です。
この研究では、この問題に取り組むための完全な組み込みシステムを提案します。
当社のシステムは、スタンドアロンの組み込みカメラモジュールを介した画像取得と転送、シングルボードコンピュータで動作するコンピュータビジョンとディープラーニング手法を介した物体検出、シングルボードコンピュータで動作するプラノグラムコンプライアンス制御手法、エネルギーハーベスティングとエネルギーハーベスティングの4つの主要コンポーネントで構成されています。
組み込みカメラモジュールに付属する電源管理ブロック。
画像取得および転送ブロックは、ESP-EYE カメラ モジュールに実装されています。
物体検出ブロックは、深層学習手法として YOLOv5 と局所特徴抽出に基づいています。
これらのメソッドをシングルボード コンピューターとして Raspberry Pi 4、NVIDIA Jetson Orin Nano、および NVIDIA Jetson AGX Orin に実装します。
棚割りコンプライアンス制御ブロックは、修正された Needleman-Wunsch アルゴリズムによるシーケンス アライメントを利用します。
このブロックは、同じシングルボード コンピューター上の物体検出ブロックとも連携して動作します。
環境発電および電源管理ブロックは、動作に適したバッテリー パックを備えた太陽光および RF 環境発電モジュールで構成されます。
私たちは、提案された埋め込み棚割りコンプライアンス制御システムを 2 つの異なるデータセットでテストし、その長所と短所に関する貴重な洞察を提供しました。
結果は、私たちの方法が物体検出と棚割りコンプライアンス制御ブロックでそれぞれ 0.997 と 1.0 の F1 スコアを達成していることを示しています。
さらに、完全な組み込みシステムは、バッテリーに基づいて、スタンドアロン形式で最大 2 年間動作できると計算されました。
この期間は、提案されている太陽光発電と RF エネルギーハーベスティングのオプションを統合することでさらに延長できます。

要約(オリジナル)

The retail sector presents several open and challenging problems that could benefit from advanced pattern recognition and computer vision techniques. One such critical challenge is planogram compliance control. In this study, we propose a complete embedded system to tackle this issue. Our system consists of four key components as image acquisition and transfer via stand-alone embedded camera module, object detection via computer vision and deep learning methods working on single board computers, planogram compliance control method again working on single board computers, and energy harvesting and power management block to accompany the embedded camera modules. The image acquisition and transfer block is implemented on the ESP-EYE camera module. The object detection block is based on YOLOv5 as the deep learning method and local feature extraction. We implement these methods on Raspberry Pi 4, NVIDIA Jetson Orin Nano, and NVIDIA Jetson AGX Orin as single board computers. The planogram compliance control block utilizes sequence alignment through a modified Needleman-Wunsch algorithm. This block is also working along with the object detection block on the same single board computers. The energy harvesting and power management block consists of solar and RF energy harvesting modules with suitable battery pack for operation. We tested the proposed embedded planogram compliance control system on two different datasets to provide valuable insights on its strengths and weaknesses. The results show that our method achieves F1 scores of 0.997 and 1.0 in object detection and planogram compliance control blocks, respectively. Furthermore, we calculated that the complete embedded system can work in stand-alone form up to two years based on battery. This duration can be further extended with the integration of the proposed solar and RF energy harvesting options.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google