ADS-Edit: A Multimodal Knowledge Editing Dataset for Autonomous Driving Systems

要約

大規模なマルチモーダルモデル（LMM）の最近の進歩は、自律運転システム（ADS）で有望であることを示しています。
ただし、広告への直接の適用は、交通知識の誤解、複雑な道路状況、車両の多様な状態などの課題によって妨げられています。
これらの課題に対処するために、完全な再試行を必要とせずに、モデルの動作をターゲットにした変更を可能にする知識編集の使用を提案します。
一方、さまざまな現実世界のシナリオ、複数のデータ型、包括的な評価メトリックを含む広告向けに特別に設計されたマルチモーダルナレッジ編集データセットであるADS-EDITを紹介します。
包括的な実験を実施し、いくつかの興味深い結論を導き出します。
私たちの仕事が、自律運転の分野でアプリケーションを編集する知識のさらなる進歩に貢献することを願っています。
コードとデータはhttps://github.com/zjunlp/easyeditで入手できます。

要約(オリジナル)

Recent advancements in Large Multimodal Models (LMMs) have shown promise in Autonomous Driving Systems (ADS). However, their direct application to ADS is hindered by challenges such as misunderstanding of traffic knowledge, complex road conditions, and diverse states of vehicle. To address these challenges, we propose the use of Knowledge Editing, which enables targeted modifications to a model’s behavior without the need for full retraining. Meanwhile, we introduce ADS-Edit, a multimodal knowledge editing dataset specifically designed for ADS, which includes various real-world scenarios, multiple data types, and comprehensive evaluation metrics. We conduct comprehensive experiments and derive several interesting conclusions. We hope that our work will contribute to the further advancement of knowledge editing applications in the field of autonomous driving. Code and data are available in https://github.com/zjunlp/EasyEdit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google