FindVehicle and VehicleFinder: A NER dataset for natural language-based vehicle retrieval and a keyword-based cross-modal vehicle retrieval system

要約

タイトル：自然言語に基づく車両検索のためのNERデータセットとキーワードベースのクロスモーダル車両検索システム：FindVehicleとVehicleFinder

要約：

– 自然言語（NL）に基づく車両検索は、与えられたNLクエリに最も一致する車両を、すべての候補車両から検索するタスクである。
– NLクエリは簡単に入手できるため、このタスクはインタラクティブなインテリジェント交通システム（ITS）を構築することに有望である。
– 現在の解決策は、テキストと画像の両方の特徴を抽出し、それらを同じ潜在空間にマッピングして類似性を比較することに重点を置いている。
– しかしながら、既存の方法は、車両属性に関連するキーワードを見つけるために依存関係解析や意味ロールラベリング技術を使用することが多い。
– これらの技術は、多くの前処理と後処理作業が必要であり、またNLクエリが複雑な場合、誤ったキーワードを抽出する問題がある。
– これらの問題を解決し、簡素化するために、固有表現認識（NER）からアイデアを借りて、交通分野のNERデータセットであるFindVehicleを構築した。
– FindVehicleには、位置、方向、タイプ、色などの車両トラックの詳細を含む42.3kのラベル付きNL記述があり、重複するエンティティと細分化されたエンティティの両方を採用して、さらに要件を満たす。
– 効果を検証するために、VehicleFinderというベースラインNLベースの自動車検索モデルを提案した。
– 私たちの実験では、FindVehicleによって事前学習されたテキストエンコーダを使用することにより、VehicleFinderは、UA-DETRACに基づく自作のデータセットでテキストコマンドによるターゲット車両の検索時に、87.7％の精度と89.4％の再現率を達成した。
– VehicleFinderの時間コストは、1つのARM v8.2 CPUでは279.35ミリ秒、1つのRTX A4000 GPUでは93.72ミリ秒であり、Transformerベースのシステムよりもはるかに速い。
– データセットは、https://github.com/GuanRunwei/FindVehicleのリンクを介してオープンソースであり、実装はhttps://github.com/GuanRunwei/VehicleFinder-CTIMのリンクで見つけることができる。

要約(オリジナル)

Natural language (NL) based vehicle retrieval is a task aiming to retrieve a vehicle that is most consistent with a given NL query from among all candidate vehicles. Because NL query can be easily obtained, such a task has a promising prospect in building an interactive intelligent traffic system (ITS). Current solutions mainly focus on extracting both text and image features and mapping them to the same latent space to compare the similarity. However, existing methods usually use dependency analysis or semantic role-labelling techniques to find keywords related to vehicle attributes. These techniques may require a lot of pre-processing and post-processing work, and also suffer from extracting the wrong keyword when the NL query is complex. To tackle these problems and simplify, we borrow the idea from named entity recognition (NER) and construct FindVehicle, a NER dataset in the traffic domain. It has 42.3k labelled NL descriptions of vehicle tracks, containing information such as the location, orientation, type and colour of the vehicle. FindVehicle also adopts both overlapping entities and fine-grained entities to meet further requirements. To verify its effectiveness, we propose a baseline NL-based vehicle retrieval model called VehicleFinder. Our experiment shows that by using text encoders pre-trained by FindVehicle, VehicleFinder achieves 87.7\% precision and 89.4\% recall when retrieving a target vehicle by text command on our homemade dataset based on UA-DETRAC. The time cost of VehicleFinder is 279.35 ms on one ARM v8.2 CPU and 93.72 ms on one RTX A4000 GPU, which is much faster than the Transformer-based system. The dataset is open-source via the link https://github.com/GuanRunwei/FindVehicle, and the implementation can be found via the link https://github.com/GuanRunwei/VehicleFinder-CTIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI