Context-Adaptive Deep Neural Networks via Bridge-Mode Connectivity

要約

安全性が重要なアプリケーションでの機械学習モデルの展開には、そのようなモデルがさまざまなコンテキストでうまく機能するという期待が伴います (たとえば、道路標識を分類するための視覚モデルは、さまざまな照明/環境下の田舎、都市、および高速道路の設定で機能する必要があります)。
気象条件）。
ただし、これらの万能モデルは通常、平均的なケースのパフォーマンス向けに最適化されており、公称条件で高いパフォーマンスを達成することを奨励していますが、困難な状況やまれな状況では予期しない動作にさらされています。
この懸念に対処するために、コンテキスト依存モデルをトレーニングするための新しい方法を開発しました。
Bridge-Mode Connectivity (BMC) (Garipov et al., 2018) を拡張して、対応する評価コンテキストに合わせて特別に調整されたモデル パラメーターをサンプリングできるように、コンテキストの継続的な尺度でモデルの無限アンサンブルをトレーニングします。
リスクプロファイルの変化、ロングテール画像の統計/外観、およびコンテキスト依存の分布シフトを含む複数のレンズを通して、画像分類タスクにおけるコンテキストの定義を探ります。
これらのケースごとに BMC 最適化の新しい拡張を開発し、実験により、各シナリオのコンテキストに合わせてモデルのパフォーマンスをうまく調整できることが実証されました。

要約(オリジナル)

The deployment of machine learning models in safety-critical applications comes with the expectation that such models will perform well over a range of contexts (e.g., a vision model for classifying street signs should work in rural, city, and highway settings under varying lighting/weather conditions). However, these one-size-fits-all models are typically optimized for average case performance, encouraging them to achieve high performance in nominal conditions but exposing them to unexpected behavior in challenging or rare contexts. To address this concern, we develop a new method for training context-dependent models. We extend Bridge-Mode Connectivity (BMC) (Garipov et al., 2018) to train an infinite ensemble of models over a continuous measure of context such that we can sample model parameters specifically tuned to the corresponding evaluation context. We explore the definition of context in image classification tasks through multiple lenses including changes in the risk profile, long-tail image statistics/appearance, and context-dependent distribution shift. We develop novel extensions of the BMC optimization for each of these cases and our experiments demonstrate that model performance can be successfully tuned to context in each scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google