Have We Ever Encountered This Before? Retrieving Out-of-Distribution Road Obstacles from Driving Scenes

要約

オープンで動的な環境で動作する高度に自動化されたシステムのライフサイクルでは、新たな課題に適応する能力が非常に重要です。
データ駆動型 AI ベースのコンポーネントを統合するシステムの場合、展開の問題に迅速に対応するには、テストと再構成のために関連データに迅速にアクセスする必要があります。
自動運転のコンテキストでは、これは特に、一般に分布外 (OoD) 道路障害物と呼ばれる、トレーニング データに含まれていない道路障害物に当てはまります。
運転シーンの厳選されていない大規模な記録が利用可能であることを考えると、実用的なアプローチは、データベースにクエリを実行して、OoD 道路障害物による同じ安全上の懸念を特徴とする同様のシナリオを取得することです。
この研究では、ビデオ ストリーム内の OoD 道路障害物の識別を超えて、テキスト クエリを使用して OoD 道路障害物のシーケンスを抽出する包括的なアプローチを提供し、それによってその後の分析のために OoD データのコレクションをキュレートする方法を提案します。
私たちが提案する方法は、OoD セグメンテーションとマルチモーダル基礎モデルの最近の進歩を活用して、ラベルのないビデオから安全関連シーンを識別し、効率的に抽出します。
我々は、テキストベースの OoD オブジェクト検索という新しいタスクに対する最初のアプローチを提示します。これは、「これまでにこれに遭遇したことがありますか?」という質問に対処します。

要約(オリジナル)

In the life cycle of highly automated systems operating in an open and dynamic environment, the ability to adjust to emerging challenges is crucial. For systems integrating data-driven AI-based components, rapid responses to deployment issues require fast access to related data for testing and reconfiguration. In the context of automated driving, this especially applies to road obstacles that were not included in the training data, commonly referred to as out-of-distribution (OoD) road obstacles. Given the availability of large uncurated recordings of driving scenes, a pragmatic approach is to query a database to retrieve similar scenarios featuring the same safety concerns due to OoD road obstacles. In this work, we extend beyond identifying OoD road obstacles in video streams and offer a comprehensive approach to extract sequences of OoD road obstacles using text queries, thereby proposing a way of curating a collection of OoD data for subsequent analysis. Our proposed method leverages the recent advances in OoD segmentation and multi-modal foundation models to identify and efficiently extract safety-relevant scenes from unlabeled videos. We present a first approach for the novel task of text-based OoD object retrieval, which addresses the question ”Have we ever encountered this before?”.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google