Towards Anytime Classification in Early-Exit Architectures by Enforcing Conditional Monotonicity

要約

最新の予測モデルは、計算量が動的である環境に導入されることがよくあります。
Anytime アルゴリズムは、計算中のどの時点でも、品質が計算時間の関数である予測を出力できるため、このような環境に適しています。
早期終了ニューラル ネットワークは、ネットワーク全体のさまざまな段階で中間予測を提供できるため、いつでも計算のコンテキストで注目を集めています。
ただし、個々のデータ ポイントの予測の品質は、計算時間が長くなるにつれて向上することが保証されていないため、現在の早期終了ネットワークが常時設定に直接適用できるわけではないことを示します。
この欠点に対処するために、私たちは、早期離脱ネットワークが徐々に自信を持つよう促す、専門家の成果に基づいた洗練されたポストホック修正を提案します。
これにより、深層モデルに予測品質における条件付き単調性の特性が与えられ、早期終了アーキテクチャを使用した真にいつでも予測モデリングへの重要な足がかりとなります。
標準的な画像分類タスクに関する私たちの経験的結果は、平均して競争力のある精度を維持しながら、そのような動作を達成できることを示しています。

要約(オリジナル)

Modern predictive models are often deployed to environments in which computational budgets are dynamic. Anytime algorithms are well-suited to such environments as, at any point during computation, they can output a prediction whose quality is a function of computation time. Early-exit neural networks have garnered attention in the context of anytime computation due to their capability to provide intermediate predictions at various stages throughout the network. However, we demonstrate that current early-exit networks are not directly applicable to anytime settings, as the quality of predictions for individual data points is not guaranteed to improve with longer computation. To address this shortcoming, we propose an elegant post-hoc modification, based on the Product-of-Experts, that encourages an early-exit network to become gradually confident. This gives our deep models the property of conditional monotonicity in the prediction quality — an essential stepping stone towards truly anytime predictive modeling using early-exit architectures. Our empirical results on standard image-classification tasks demonstrate that such behaviors can be achieved while preserving competitive accuracy on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google