Problem-dependent attention and effort in neural networks with applications to image resolution and model selection

要約

タイトル：問題依存の注意と努力を持つニューラルネットワークに適用される画像解像度とモデル選択のアプリケーション

要約：

– この論文は、画像分類のデータと計算コストを削減する2つの新しいアンサンブルベースの手法を紹介しています。
– これらの手法は、任意の分類器セットで使用でき、追加のトレーニングは必要ありません。
– 最初のアプローチでは、低解像度のピクセル化されたバージョンの分類が低い場合に、低解像度バージョンを分類する代わりにフルサイズの画像のみ分析することにより、データ使用量を削減します。
– 最良のパフォーマンスを示す分類器に適用すると、MNISTでデータ使用量が61.2％、KMNISTで69.6％、FashionMNISTで56.3％、SVHNで84.6％、ImageNetで40.6％、ImageNet-V2で27.6％削減され、精度は5％未満低下します。
– ただし、CIFAR-10ではピクセル化されたデータは特に情報量が少なく、アンサンブル手法ではデータ使用量が増加し、精度が低下します。
– 2番目のアプローチでは、よりシンプルなモデルが分類に自信がない場合にのみ複雑なモデルを使用することにより、計算コストを削減します。
– MNISTでは計算コストが82.1％、KMNISTでは47.6％、FashionMNISTでは72.3％、SVHNでは86.9％、ImageNetでは89.2％、ImageNet-V2では81.5％削減され、精度は5％未満低下します。
– CIFAR-10の場合、対応する改善は13.5％にとどまります。
– コストが考慮されていない場合、各観測の最も自信のあるモデルからの射影を選択すると、ImageNetでは79.3％から81.0％、ImageNet-V2では67.5％から69.4％の検証精度が向上します。

要約(オリジナル)

This paper introduces two new ensemble-based methods to reduce the data and computation costs of image classification. They can be used with any set of classifiers and do not require additional training. In the first approach, data usage is reduced by only analyzing a full-sized image if the model has low confidence in classifying a low-resolution pixelated version. When applied on the best performing classifiers considered here, data usage is reduced by 61.2% on MNIST, 69.6% on KMNIST, 56.3% on FashionMNIST, 84.6% on SVHN, 40.6% on ImageNet, and 27.6% on ImageNet-V2, all with a less than 5% reduction in accuracy. However, for CIFAR-10, the pixelated data are not particularly informative, and the ensemble approach increases data usage while reducing accuracy. In the second approach, compute costs are reduced by only using a complex model if a simpler model has low confidence in its classification. Computation cost is reduced by 82.1% on MNIST, 47.6% on KMNIST, 72.3% on FashionMNIST, 86.9% on SVHN, 89.2% on ImageNet, and 81.5% on ImageNet-V2, all with a less than 5% reduction in accuracy; for CIFAR-10 the corresponding improvements are smaller at 13.5%. When cost is not an object, choosing the projection from the most confident model for each observation increases validation accuracy to 81.0% from 79.3% for ImageNet and to 69.4% from 67.5% for ImageNet-V2.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI