Genetic Learning for Designing Sim-to-Real Data Augmentations

要約

データ拡張は、合成データでトレーニングするときに、シミュレーションと実際のドメインのギャップを埋めるのに役立ちます。
これは、トレーニング データの分布を広げ、モデルを他のドメインに一般化することが促進されるためです。
強度や確率などのさまざまな設定によってパラメータ化された、多くの画像拡張技術が存在します。
これにより、さまざまな拡張ポリシーの可能性が大きく広がります。
特定のデータセットのシミュレーションと実際のギャップを克服するために、一部のポリシーが他のポリシーよりも効果的に機能しますが、その理由は不明です。
このペーパーでは、物体の検出に焦点を当て、特定の拡張ポリシーが特定のシミュレーション/リアル設定でどの程度うまく機能するかを予測するために組み合わせることができる 2 つの異なる解釈可能なメトリクスを紹介します。
さまざまな拡張ポリシーを使用して多くのモデルをトレーニングし、実際のデータのパフォーマンスとの強い相関関係を示すことでメトリクスを検証します。
さらに、これらのメトリクスを活用して、モデルをトレーニングすることなく、特定のデータセットの拡張ポリシーを自動的に設計できる遺伝的プログラミング手法である GeneticAugment を紹介します。

要約(オリジナル)

Data augmentations are useful in closing the sim-to-real domain gap when training on synthetic data. This is because they widen the training data distribution, thus encouraging the model to generalize better to other domains. Many image augmentation techniques exist, parametrized by different settings, such as strength and probability. This leads to a large space of different possible augmentation policies. Some policies work better than others for overcoming the sim-to-real gap for specific datasets, and it is unclear why. This paper presents two different interpretable metrics that can be combined to predict how well a certain augmentation policy will work for a specific sim-to-real setting, focusing on object detection. We validate our metrics by training many models with different augmentation policies and showing a strong correlation with performance on real data. Additionally, we introduce GeneticAugment, a genetic programming method that can leverage these metrics to automatically design an augmentation policy for a specific dataset without needing to train a model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google