Fast yet Safe: Early-Exiting with Risk Control

要約

機械学習モデルをスケーリングすると、パフォーマンスが大幅に向上します。
ただし、そのような利点は、推論が遅く、リソースを大量に消費するという代償を伴います。
早期終了ニューラル ネットワーク (EENN) は、有望なソリューションを提供します。EENN は、中間層が早期に終了して予測を生成できるようにすることで推論を加速します。
しかし、EENN の基本的な問題は、パフォーマンスを大幅に低下させることなく、いつ終了するかを決定する方法です。
言い換えれば、EENN が「高速」に走行しても「安全」なのはどのような場合でしょうか?
この問題に対処するために、私たちはリスク管理のフレームワークを EENN に適応させる方法を調査します。
リスク コントロールは、出力が十分な品質である場合にのみ終了が発生するように EENN の終了メカニズムを調整する、配布不要のポストホック ソリューションを提供します。
私たちは視覚と言語のさまざまなタスクに関する洞察を経験的に検証し、ユーザーが指定したパフォーマンス目標を維持しながら、リスク制御により大幅な計算量の節約が可能であることを実証しています。

要約(オリジナル)

Scaling machine learning models significantly improves their performance. However, such gains come at the cost of inference being slow and resource-intensive. Early-exit neural networks (EENNs) offer a promising solution: they accelerate inference by allowing intermediate layers to exit and produce a prediction early. Yet a fundamental issue with EENNs is how to determine when to exit without severely degrading performance. In other words, when is it ‘safe’ for an EENN to go ‘fast’? To address this issue, we investigate how to adapt frameworks of risk control to EENNs. Risk control offers a distribution-free, post-hoc solution that tunes the EENN’s exiting mechanism so that exits only occur when the output is of sufficient quality. We empirically validate our insights on a range of vision and language tasks, demonstrating that risk control can produce substantial computational savings, all the while preserving user-specified performance goals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google