Commonsense Knowledge Assisted Deep Learning for Resource-constrained and Fine-grained Object Detection

要約

このペーパーでは、エッジ コンピューティングなど、コンピューティング リソースが限られているシナリオでのきめ細かいオブジェクト検出について説明します。
特にディープ ニューラル ネットワーク (DNN) の使用によるディープ ラーニング (DL) は、物体検出への主要なアプローチとなっています。
ただし、正確で詳細な検出を取得するには、大規模な DNN モデルと大量の注釈付きデータが必要であり、リソースに制約がある場合の最新の DL オブジェクト検出器にとっては課題となります。
この問題に対処するために、我々は、常識的な知識を利用して、粗粒度の物体検出器が正確な粒度の細かい検出結果を達成するのを支援するアプローチを提案する。
具体的には、ベンチマークの粗粒度 DL 検出器によって生成された粗粒度ラベルを処理して粒度の細かいラベルを生成する常識知識推論モジュール (CKIM) を導入します。
私たちの CKIM は、クリスプ ルールとファジー ルールの両方に基づく推論方法を検討しており、後者はターゲットのセマンティック ラベルの曖昧さを処理するために採用されています。
Mobilenet-SSD と YOLOv7-tiny を含む 2 つの最新の DL 検出器に基づいてメソッドを実装します。
実験結果は、私たちのアプローチが、注釈付きデータの量を減らし、より小さなモデルサイズで正確で細かい検出を達成することを示しています。
私たちのコードは https://github.com/ZJLAB-AMMI/CKIM で入手できます。

要約(オリジナル)

This paper addresses fine-grained object detection in scenarios with limited computing resources, such as edge computing. Deep learning (DL), particularly through the use of deep neural networks (DNNs), has become the primary approach to object detection. However, obtaining accurate fine-grained detection requires a large DNN model and a significant amount of annotated data, presenting a challenge for modern DL object detectors in resource-constrained cases. To address this issue, we propose an approach that utilizes commonsense knowledge to assist a coarse-grained object detector in achieving accurate fine-grained detection results. Specifically, we introduce a commonsense knowledge inference module (CKIM) that processes the coarse-grained labels produced by a benchmark coarse-grained DL detector to generate fine-grained labels. Our CKIM explores both crisp-rule and fuzzy-rule based inference methods, with the latter being employed to handle ambiguity in the target semantic labels. We implement our method based on two modern DL detectors, including Mobilenet-SSD, and YOLOv7-tiny. Experimental results demonstrate that our approach achieves accurate fine-grained detections with a reduced amount of annotated data, and smaller model size. Our code is available at https://github.com/ZJLAB-AMMI/CKIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google