Evaluation of autonomous systems under data distribution shifts

要約

私たちは、データが安全に使用できるのはデータ分散シフトの一定のしきい値までであり、それを超えると自律システムによって制御が放棄され、操作が停止されるか人間のオペレーターに引き渡される必要があると仮定します。
コンピュータ ビジョンのおもちゃの例を使用して、ネットワークの予測精度がデータ分布のシフトによって影響を受けることを実証し、トレーニング データとテスト データの間の距離メトリクスを提案して、そのシフト内での安全な動作制限を定義します。
私たちは、経験的に得られたデータ分布シフトのしきい値を超えると、ネットワークの予測精度が低下しないと期待するのは不合理であると結論付けています。

要約(オリジナル)

We posit that data can only be safe to use up to a certain threshold of the data distribution shift, after which control must be relinquished by the autonomous system and operation halted or handed to a human operator. With the use of a computer vision toy example we demonstrate that network predictive accuracy is impacted by data distribution shifts and propose distance metrics between training and testing data to define safe operation limits within said shifts. We conclude that beyond an empirically obtained threshold of the data distribution shift, it is unreasonable to expect network predictive accuracy not to degrade

arxiv情報

提供元, 利用サービス

arxiv.jp, Google