Model soups to increase inference without increasing compute time

要約

このホワイト ペーパーでは、arXiv:2203.05482 の 3 つのスープ レシピ (Greedy Soup Sorted、Greedy Soup Random、および Uniform Soup) を使用して、3 つの異なるモデル (ResNet、ViT、および EfficientNet) でモデル Soups のパフォーマンスを比較し、著者の結果を再現します。
次に、プルーンスープと呼ばれる新しいスープレシピを紹介します.
スープの結果は、事前トレーニング済みのビジョン トランスフォーマーの最適な個々のモデルよりも優れていましたが、ResNet と EfficientNet の結果ははるかに悪かったです。
私たちのプルーンスープは、元の論文で提示された均一で貪欲なスープよりも優れたパフォーマンスを発揮しました.
また、実験中に見つかった重量平均化の制限についても説明します。
モデル スープ ライブラリのコードとさまざまなモデルを使用した実験は、https://github.com/milo-sobral/ModelSoup で確認できます。

要約(オリジナル)

In this paper, we compare Model Soups performances on three different models (ResNet, ViT and EfficientNet) using three Soup Recipes (Greedy Soup Sorted, Greedy Soup Random and Uniform soup) from arXiv:2203.05482, and reproduce the results of the authors. We then introduce a new Soup Recipe called Pruned Soup. Results from the soups were better than the best individual model for the pre-trained vision transformer, but were much worst for the ResNet and the EfficientNet. Our pruned soup performed better than the uniform and greedy soups presented in the original paper. We also discuss the limitations of weight-averaging that were found during the experiments. The code for our model soup library and the experiments with different models can be found here: https://github.com/milo-sobral/ModelSoup

arxiv情報

提供元, 利用サービス

arxiv.jp, Google