Learning Ensembles of Vision-based Safety Control Filters

要約

制御システムにおける安全フィルタは、安全制約に違反する公称制御を修正する。このようなフィルターを、不確実で複雑な環境における視覚観測の関数として設計することは困難である。最近、この課題に取り組むディープラーニングベースのアプローチがいくつか提案されている。しかし、学習されたフィルタがシステムの安全性を保証できるような重要な特性を満たすことを正式に検証することは、今のところ手の届かないことである。その代わりに、本研究では、強化学習におけるアンサンブル手法の成功に動機づけられ、より信頼性の高いものへのステップとして、そのようなフィルタの精度と分布外汎化を強化するアンサンブルの有効性を実証的に調査する。フィルタのバックボーンとして様々な事前訓練された視覚表現モデル、訓練アプローチ、出力集約技術を用いた実験を行う。DeepAccidentデータセットにおいて、安全な状態と安全でない状態および制御を区別する際に、異なる構成のアンサンブルの性能を、互い、個々のメンバーモデル、および大規模な単一モデルのベースラインに対して比較する。その結果、多様なアンサンブルは、個々のモデルと比較して、より良い状態と制御の分類精度を持つことが示された。

要約(オリジナル)

Safety filters in control systems correct nominal controls that violate safety constraints. Designing such filters as functions of visual observations in uncertain and complex environments is challenging. Several deep learning-based approaches to tackle this challenge have been proposed recently. However, formally verifying that the learned filters satisfy critical properties that enable them to guarantee the safety of the system is currently beyond reach. Instead, in this work, motivated by the success of ensemble methods in reinforcement learning, we empirically investigate the efficacy of ensembles in enhancing the accuracy and the out-of-distribution generalization of such filters, as a step towards more reliable ones. We experiment with diverse pre-trained vision representation models as filter backbones, training approaches, and output aggregation techniques. We compare the performance of ensembles with different configurations against each other, their individual member models, and large single-model baselines in distinguishing between safe and unsafe states and controls in the DeepAccident dataset. Our results show that diverse ensembles have better state and control classification accuracies compared to individual models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL