LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks

要約

多くの現実世界の決定は、機械学習アルゴリズムに依存しており、較正された不確実性の推定値が必要です。
ただし、最新の方法は、しばしば自信過剰でない予測をもたらします。
モデルに固有の不確実性を定量化するための支配的なアプローチは、個別の予測因子のアンサンブルを訓練し、それらの経験的分散を測定することです。
明示的な実装では、アンサンブルは、特に最新の変圧器のように基本モデル自体がすでに大きい場合、高い計算コストとメモリフットプリントを持っています。
これは、すべてのメンバーを明示的にインスタンス化することなく、アンサンブルをエミュレートする暗黙のアンサンブル方法を開発する努力を動機付けます。
自己関節ネットワークのパラメーター効率の高いアンサンベリング方法であるLora-Ensembleを紹介します。
元々効率的なLLM微調整のために開発された低ランク適応（LORA）に基づいており、すべてのアンサンブルメンバーが同じように訓練された自己関節ネットワークを共有しているが、注意投影のために個別の低ランクマトリックスを持っている暗黙のアンサンブルスキームに拡張します。
結果の方法は、バッチェンサンブルのような最先端の暗黙的な手法を上回るだけでなく、明示的なアンサンブルの精度に合わせたり、それを超えたりすると同時に、優れたキャリブレーションを達成します。

要約(オリジナル)

Numerous real-world decisions rely on machine learning algorithms and require calibrated uncertainty estimates. However, modern methods often yield overconfident, uncalibrated predictions. The dominant approach to quantifying the uncertainty inherent in the model is to train an ensemble of separate predictors and measure their empirical variance. In an explicit implementation, the ensemble has high computational cost and memory footprint, especially if the base model itself is already large, like modern transformers. This motivates efforts to develop implicit ensemble methods that emulate the ensemble without explicitly instantiating all its members. We introduce LoRA-Ensemble, a parameter-efficient ensembling method for self-attention networks. It is based on Low-Rank Adaptation (LoRA), originally developed for efficient LLM fine-tuning, and extends it into an implicit ensembling scheme, where all ensemble members share the same, pre-trained self-attention network, but have individual low-rank matrices for the attention projections. The resulting method not only outperforms state-of-the-art implicit techniques like BatchEnsemble, but even matches or exceeds the accuracy of an Explicit Ensemble, while at the same time achieving superior calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google