Algorithmic progress in computer vision

要約

私たちは、おそらくコンピューター ビジョンの最もよく知られたテスト ベッドである ImageNet 上の画像分類におけるアルゴリズムの進歩を調査します。
私たちは、ニューラル スケーリング則に関する研究に基づいてモデルを推定し、コンピューティング、データ、アルゴリズムのスケーリングへの進歩の分解を推測します。
Shapley の値を使用してパフォーマンスの向上を評価すると、コンピューター ビジョンの進歩には、アルゴリズムの向上がコンピューティングのスケーリングとほぼ同じくらい重要であることがわかります。
私たちの推定によると、アルゴリズムの革新は主に、データを増強するアルゴリズムの進歩ではなく、演算を増強するアルゴリズムの進歩（研究者がより少ない計算量でより良いパフォーマンスを得ることが可能になる）の形をとることが示されています。
計算量を増大させるアルゴリズムの進歩は、通常ムーアの法則に関連付けられる速度の 2 倍以上のペースで行われていることがわかりました。
特に、コンピューティングを強化するイノベーションにより、9 か月ごとにコンピューティング要件が半減すると推定されています (95% 信頼区間: 4 ～ 25 か月)。

要約(オリジナル)

We investigate algorithmic progress in image classification on ImageNet, perhaps the most well-known test bed for computer vision. We estimate a model, informed by work on neural scaling laws, and infer a decomposition of progress into the scaling of compute, data, and algorithms. Using Shapley values to attribute performance improvements, we find that algorithmic improvements have been roughly as important as the scaling of compute for progress computer vision. Our estimates indicate that algorithmic innovations mostly take the form of compute-augmenting algorithmic advances (which enable researchers to get better performance from less compute), not data-augmenting algorithmic advances. We find that compute-augmenting algorithmic advances are made at a pace more than twice as fast as the rate usually associated with Moore’s law. In particular, we estimate that compute-augmenting innovations halve compute requirements every nine months (95\% confidence interval: 4 to 25 months).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google