Automotive Perception Software Development: An Empirical Investigation into Data, Annotation, and Ecosystem Challenges

要約

機械学習アルゴリズムを含むソフトウェアは、自動運転システムなど、自動車の認識に不可欠な要素です。
このようなソフトウェアの開発、特に機械学習コンポーネントのトレーニングと検証には、注釈付きの大規模なデータセットが必要です。
このようなデータ集約型の自動車用ソフトウェア コンポーネントの開発に役立つデータおよび注釈サービスの業界が出現しました。
データと注釈のニーズを指定することの広範な困難は、OEM (Original Equipment Manufacturer) とソフトウェア コンポーネント、データ、および注釈のサプライヤとの間のコラボレーションに課題をもたらします。
このホワイト ペーパーでは、スウェーデンの自動車産業の実務者がデータと注釈の明確な仕様に到達することが困難である理由を調査します。
インタビュー調査の結果は、データ品質の側面に関する効果的な指標の欠如、作業方法のあいまいさ、アノテーションの品質の不明確な定義、およびビジネス エコシステムの欠陥が、仕様の導出を困難にする原因であることを示しています。
仕様を導出する際の課題を軽減できる推奨事項のリストを提供し、これらの課題を克服するための将来の研究機会を提案します。
私たちの仕事は、複雑なソフトウェア システム、特に自動運転などのリスクの高いアプリケーションに適用される機械学習の説明責任に関する進行中の研究に貢献しています。

要約(オリジナル)

Software that contains machine learning algorithms is an integral part of automotive perception, for example, in driving automation systems. The development of such software, specifically the training and validation of the machine learning components, require large annotated datasets. An industry of data and annotation services has emerged to serve the development of such data-intensive automotive software components. Wide-spread difficulties to specify data and annotation needs challenge collaborations between OEMs (Original Equipment Manufacturers) and their suppliers of software components, data, and annotations. This paper investigates the reasons for these difficulties for practitioners in the Swedish automotive industry to arrive at clear specifications for data and annotations. The results from an interview study show that a lack of effective metrics for data quality aspects, ambiguities in the way of working, unclear definitions of annotation quality, and deficits in the business ecosystems are causes for the difficulty in deriving the specifications. We provide a list of recommendations that can mitigate challenges when deriving specifications and we propose future research opportunities to overcome these challenges. Our work contributes towards the on-going research on accountability of machine learning as applied to complex software systems, especially for high-stake applications such as automated driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google