A Multi-model Approach for Video Data Retrieval in Autonomous Vehicle Development

要約

自律走行ソフトウエアは毎秒莫大な量のデータを生成し、ソフトウエア開発組織は将来の分析とテストのためにログの形で保存する。しかし、このデータが膨大なサイズであることを考えると、車両ログのコレクションから特定のシナリオを探し出すことは困難です。このようなシナリオを見つけるために正しいSQLクエリを書くには、エンジニアがSQLと問題の特定のデータベースに関する強力なバックグラウンドを持っている必要があり、検索プロセスをさらに複雑にしている。本稿では、SQLの代わりに自然言語記述を使用して、ログコレクション内の特定のシナリオを検索できるパイプラインを紹介し、評価する。生成された記述は、ゼンセアクトで車両ログを扱うエンジニアによって、1～5のスケールで評価された。我々のアプローチは平均スコア3.3を達成し、ソフトウェア開発ワークフローを改善するためにマルチモデルアーキテクチャを使用する可能性を実証した。また、クエリプロセスを視覚化し、結果を可視化できるインターフェースも紹介する。

要約(オリジナル)

Autonomous driving software generates enormous amounts of data every second, which software development organizations save for future analysis and testing in the form of logs. However, given the vast size of this data, locating specific scenarios within a collection of vehicle logs can be challenging. Writing the correct SQL queries to find these scenarios requires engineers to have a strong background in SQL and the specific databases in question, further complicating the search process. This paper presents and evaluates a pipeline that allows searching for specific scenarios in log collections using natural language descriptions instead of SQL. The generated descriptions were evaluated by engineers working with vehicle logs at the Zenseact on a scale from 1 to 5. Our approach achieved a mean score of 3.3, demonstrating the potential of using a multi-model architecture to improve the software development workflow. We also present an interface that can visualize the query process and visualize the results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL