Leveraging Structure from Motion to Localize Inaccessible Bus Stops

要約

公共交通機関の安全性と利便性を確保するためには、公共交通機関の駅周辺の危険な状況を検出することが必要です。スマートシティのインフラは、コンピュータビジョンによってこのタスクを促進することを目的としています。しかし、最新のコンピュータビジョンモデルは、正確な検出を行うために数千枚の画像を必要とし、また、危険な状態の画像は一般に少なく、危険な状態の画像はほとんど存在しない。本論文では、バス路線の雪道歩道の検出を検討する。これまでの研究では、豪雪地帯での他車両の検出や、単に雪の存在を検出することに重点を置いてきた。しかし、我々のアプリケーションでは、雪が転倒やその他の事故の原因となる重要な領域を覆っているのか（例えば、歩道を覆う雪）、単に背景の領域を覆っているのか（例えば、近隣の畑の雪）を判断するという複雑さが加わっている。この問題では、重要な領域が必ずしも見えていない場合に、その位置を局所化する必要がある。 本論文では、この問題を解決するために、付加的なアノテーションデータではなく、Structure from Motion (SfM)を利用する手法を紹介する。具体的には、晴天時のバスカメラの画像に対して、セグメンテーションモデルとSfMを適用することで、与えられたシーンにおける歩道の位置を学習する方法である。そして、学習した位置を用いて、歩道が雪で見えなくなったかどうか、また、どこが見えなくなったかを検出する。様々な閾値パラメータで評価した結果、本手法が異なるカテゴリの歩道画像を一貫して正しく分類できる最適な範囲を特定することができた。我々はバス路線の積雪に対するアプリケーションを実証しているが、この方法は他の危険な状況にも拡張可能である。このプロジェクトのコードは https://github.com/ind1010/SfM_for_BusEdge で公開されています。

要約(オリジナル)

The detection of hazardous conditions near public transit stations is necessary for ensuring the safety and accessibility of public transit. Smart city infrastructures aim to facilitate this task among many others through the use of computer vision. However, most state-of-the-art computer vision models require thousands of images in order to perform accurate detection, and there exist few images of hazardous conditions as they are generally rare. In this paper, we examine the detection of snow-covered sidewalks along bus routes. Previous work has focused on detecting other vehicles in heavy snowfall or simply detecting the presence of snow. However, our application has an added complication of determining if the snow covers areas of importance and can cause falls or other accidents (e.g. snow covering a sidewalk) or simply covers some background area (e.g. snow on a neighboring field). This problem involves localizing the positions of the areas of importance when they are not necessarily visible. We introduce a method that utilizes Structure from Motion (SfM) rather than additional annotated data to address this issue. Specifically, our method learns the locations of sidewalks in a given scene by applying a segmentation model and SfM to images from bus cameras during clear weather. Then, we use the learned locations to detect if and where the sidewalks become obscured with snow. After evaluating across various threshold parameters, we identify an optimal range at which our method consistently classifies different categories of sidewalk images correctly. Although we demonstrate an application for snow coverage along bus routes, this method can extend to other hazardous conditions as well. Code for this project is available at https://github.com/ind1010/SfM_for_BusEdge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL