Automatic Signboard Detection and Localization in Densely Populated Developing Cities

要約

開発中の都市のほとんどの都市施設は、自動注釈システムがないため、デジタル ラベルが付けられていません。
そのため、Google マップや Uber などの位置情報と軌跡のサービスは、そのような都市では十分に活用されていません。
このような街中の情報を誤りなく検索するためには、自然風景画像から看板を正確に検出することが最重要課題です。
しかし、正確な看板のローカリゼーション システムを開発することは、文字画像や複雑な背景を含む多様な外観のため、未解決の課題です。
そのような都市に適した、看板を自動的に検出できる新しいオブジェクト検出アプローチを提示します。
2 つの特殊な事前トレーニング方法とランタイム効率の高いハイパーパラメーター値選択アルゴリズムを組み込むことで、Faster R-CNN ベースのローカリゼーションを使用します。
発展途上国 6 か国の看板の自然シーン画像を含む、構築された SVSO (Street View Signboard Objects) 看板データセットを使用した詳細な評価とベースラインとの比較を通じて、最終的な提案方法に到達するための漸進的なアプローチを取りました。
SVSO データセットと Open Image Dataset の両方で、提案された方法の最先端のパフォーマンスを示します。
提案された方法は、SVSO 独立テスト セットで 0.90 mAP (平均精度) スコアを達成する (ノイズの多い背景にさまざまな形や色の複数の看板が画像に含まれている場合でも) 看板を正確に検出できます。
私たちの実装は、https://github.com/sadrultoaha/Signboard-Detection で入手できます。

要約(オリジナル)

Most city establishments of developing cities are digitally unlabeled because of the lack of automatic annotation systems. Hence location and trajectory services such as Google Maps, Uber etc remain underutilized in such cities. Accurate signboard detection in natural scene images is the foremost task for error-free information retrieval from such city streets. Yet, developing accurate signboard localization system is still an unresolved challenge because of its diverse appearances that include textual images and perplexing backgrounds. We present a novel object detection approach that can detect signboards automatically and is suitable for such cities. We use Faster R-CNN based localization by incorporating two specialized pretraining methods and a run time efficient hyperparameter value selection algorithm. We have taken an incremental approach in reaching our final proposed method through detailed evaluation and comparison with baselines using our constructed SVSO (Street View Signboard Objects) signboard dataset containing signboard natural scene images of six developing countries. We demonstrate state-of-the-art performance of our proposed method on both SVSO dataset and Open Image Dataset. Our proposed method can detect signboards accurately (even if the images contain multiple signboards with diverse shapes and colours in a noisy background) achieving 0.90 mAP (mean average precision) score on SVSO independent test set. Our implementation is available at: https://github.com/sadrultoaha/Signboard-Detection

arxiv情報

提供元, 利用サービス

arxiv.jp, Google