Building Resilience to Out-of-Distribution Visual Data via Input Optimization and Model Finetuning

要約

機械学習における主な課題は、分布外データ (モデルのトレーニング データの分布外に存在するデータ) に対する回復力です。
多くの場合、トレーニングは慎重にキュレーションされた限られたデータセットを使用して実行されるため、モデルがデプロイされると、トレーニング データに含まれていないエッジ ケースや異常が発生するため、多くの場合、分布が大幅に変化します。
これに対処するために、入力最適化ネットワークを提案します。これは、特定のターゲット ビジョン モデルの入力データを最適化することを学習する画像前処理モデルです。
この作業では、自動運転車のセマンティック セグメンテーションのコンテキストでいくつかの分散外シナリオを調査し、入力最適化ベースのソリューションを、拡張トレーニング データと敵対的にトレーニングされた前処理モデルを使用してターゲット モデルを微調整する既存のアプローチと比較します。
私たちのアプローチが、微調整されたモデルのパフォーマンスに匹敵するそのようなデータでパフォーマンスを実現できることを示し、その後、微調整されたモデルをターゲットにするように入力最適化ネットワークが最適化される組み合わせアプローチが、どちらの方法よりも優れたパフォーマンスを単独で提供することを示します。
最後に、入力最適化ネットワークとターゲット モデルを同時にトレーニングする共同最適化アプローチを提案します。これにより、特に困難なエッジ ケース シナリオで、大幅なパフォーマンスの向上が達成されることが実証されます。
また、パフォーマンスに大きな影響を与えることなく、アーキテクチャを比較的コンパクトなサイズに縮小できることも示しており、リアルタイムの組み込みアプリケーションを促進する可能性があります。

要約(オリジナル)

A major challenge in machine learning is resilience to out-of-distribution data, that is data that exists outside of the distribution of a model’s training data. Training is often performed using limited, carefully curated datasets and so when a model is deployed there is often a significant distribution shift as edge cases and anomalies not included in the training data are encountered. To address this, we propose the Input Optimisation Network, an image preprocessing model that learns to optimise input data for a specific target vision model. In this work we investigate several out-of-distribution scenarios in the context of semantic segmentation for autonomous vehicles, comparing an Input Optimisation based solution to existing approaches of finetuning the target model with augmented training data and an adversarially trained preprocessing model. We demonstrate that our approach can enable performance on such data comparable to that of a finetuned model, and subsequently that a combined approach, whereby an input optimization network is optimised to target a finetuned model, delivers superior performance to either method in isolation. Finally, we propose a joint optimisation approach, in which input optimization network and target model are trained simultaneously, which we demonstrate achieves significant further performance gains, particularly in challenging edge-case scenarios. We also demonstrate that our architecture can be reduced to a relatively compact size without a significant performance impact, potentially facilitating real time embedded applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google