You can have your ensemble and run it too — Deep Ensembles Spread Over Time

要約

独立してトレーニングされたディープ ニューラル ネットワークのアンサンブルは、パフォーマンスにおいてベイジアン ネットワークに匹敵する不確実性推定を生成します。
また、単一モデルと比較して、予測パフォーマンスの点でも大幅な改善が見られます。
ただし、ディープ アンサンブルは、アンサンブル メンバーの数に応じて複雑さが直線的に増大するため、自動運転などの計算量が限られた環境では一般的に使用されません。
自動運転などのロボット工学アプリケーションで得られる重要な観察は、データが通常は連続しているということです。
たとえば、物体を認識する場合、自律走行車は通常、単一の画像ではなく一連の画像を観察します。
ここで、深いアンサンブルが時間の経過とともに広がる可能性があるのではないかという疑問が生じます。
この研究では、Deep Ensembles Spread Over Time (DESOT) を提案し、分析します。
このアイデアは、シーケンス内の各データ ポイントに 1 つのアンサンブル メンバーのみを適用し、一連のデータ ポイントにわたる予測を融合することです。
私たちは、追跡された画像パッチのシーケンスが分類される交通標識分類のために DESOT を実装して実験します。
DESOT は、追加の計算コストを回避しながら、予測および不確実性推定のパフォーマンスの点でディープ アンサンブルのメリットを享受できることがわかりました。
さらに、DESOT は実装が簡単で、トレーニング中にシーケンスを必要としません。
最後に、DESOT はディープ アンサンブルと同様に、分布外の検出において単一モデルよりも優れたパフォーマンスを発揮することがわかりました。

要約(オリジナル)

Ensembles of independently trained deep neural networks yield uncertainty estimates that rival Bayesian networks in performance. They also offer sizable improvements in terms of predictive performance over single models. However, deep ensembles are not commonly used in environments with limited computational budget — such as autonomous driving — since the complexity grows linearly with the number of ensemble members. An important observation that can be made for robotics applications, such as autonomous driving, is that data is typically sequential. For instance, when an object is to be recognized, an autonomous vehicle typically observes a sequence of images, rather than a single image. This raises the question, could the deep ensemble be spread over time? In this work, we propose and analyze Deep Ensembles Spread Over Time (DESOT). The idea is to apply only a single ensemble member to each data point in the sequence, and fuse the predictions over a sequence of data points. We implement and experiment with DESOT for traffic sign classification, where sequences of tracked image patches are to be classified. We find that DESOT obtains the benefits of deep ensembles, in terms of predictive and uncertainty estimation performance, while avoiding the added computational cost. Moreover, DESOT is simple to implement and does not require sequences during training. Finally, we find that DESOT, like deep ensembles, outperform single models for out-of-distribution detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google