Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations

要約

自律システム向けの機械学習 (ML) ベースの認識モデルを進歩させるには、特に困難な運用設計ドメイン (ODD) において、モデル内の弱点に対処する必要があります。
これらは自動運転車の環境動作条件であり、夜間のレンズフレアや濡れた道路に反射する物体などの困難な条件が含まれる可能性があります。
このレポートでは、そのような状況におけるモデルの堅牢性とパフォーマンスを強化するための拡張を使用したトレーニングのための新しい方法論を紹介します。
提案されたアプローチは、カスタマイズされた物理ベースの拡張関数を活用して、多様な ODD シナリオをシミュレートする現実的なトレーニング データを生成します。
ML モデルの弱点の特定、適切な拡張の選択、効果的なトレーニング戦略の考案を含む包括的なフレームワークを紹介します。
この方法論では、ハイパーパラメーターの最適化と潜在空間の最適化を統合して拡張パラメーターを微調整し、ML モデルのパフォーマンスを最大限に向上させます。
実験結果は、オープンソースのオブジェクト検出およびセマンティック セグメンテーションのモデルとデータセットで平均平均精度 (mAP) や平均交差オーバーユニオン (mIoU) などの一般的に使用されるメトリクスによって測定される、モデルのパフォーマンスの向上を示しています。
私たちの調査結果では、最適なトレーニング戦略はモデルとデータに固有であることが強調され、トレーニング パイプラインに拡張機能を統合する利点が強調されています。
拡張機能を組み込むことで、ML ベースの知覚モデルの堅牢性が向上し、現実世界の ODD で遭遇するエッジケースに対する回復力が向上することがわかりました。
この研究は、カスタマイズされた拡張の重要性を強調し、自動運転機能の安全性と信頼性を向上させるための効果的なソリューションを提供します。

要約(オリジナル)

Advancing Machine Learning (ML)-based perception models for autonomous systems necessitates addressing weak spots within the models, particularly in challenging Operational Design Domains (ODDs). These are environmental operating conditions of an autonomous vehicle which can contain difficult conditions, e.g., lens flare at night or objects reflected in a wet street. This report introduces a novel methodology for training with augmentations to enhance model robustness and performance in such conditions. The proposed approach leverages customized physics-based augmentation functions, to generate realistic training data that simulates diverse ODD scenarios. We present a comprehensive framework that includes identifying weak spots in ML models, selecting suitable augmentations, and devising effective training strategies. The methodology integrates hyperparameter optimization and latent space optimization to fine-tune augmentation parameters, ensuring they maximally improve the ML models’ performance. Experimental results demonstrate improvements in model performance, as measured by commonly used metrics such as mean Average Precision (mAP) and mean Intersection over Union (mIoU) on open-source object detection and semantic segmentation models and datasets. Our findings emphasize that optimal training strategies are model- and data-specific and highlight the benefits of integrating augmentations into the training pipeline. By incorporating augmentations, we observe enhanced robustness of ML-based perception models, making them more resilient to edge cases encountered in real-world ODDs. This work underlines the importance of customized augmentations and offers an effective solution for improving the safety and reliability of autonomous driving functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google