The Compute Divide in Machine Learning: A Threat to Academic Contribution and Scrutiny?

要約

産業用と学術用の AI 研究室がコンピューティング リソースを使用する範囲には明らかな違いがあります。
私たちは、機械学習研究の形成におけるコンピューティング格差の役割に関するデータ主導型の調査を提供します。
私たちは、コンピューティングの格差が、コンピューティング集約型の研究テーマ、特に基礎モデルにおける学術のみの研究チームの減少と一致していることを示しています。
関連する技術の進歩、批判的な評価と精査の提供、およびそのようなモデルの普及において、学術界が果たす役割は小さくなる可能性が高いと私たちは主張します。
研究の焦点のこの変化と同時に、業界内で開発されたオープンソースの事前トレーニング済みモデルを採用する方向への学術研究の顕著な変化が見られます。
この傾向から生じる課題、特に影響力のあるモデルの精査の低下に対処するために、私たちは学術的な洞察を思慮深く拡大することを目的としたアプローチを推奨します。
国が後援するコンピューティングインフラストラクチャとオープンサイエンスイニシアチブを組み合わせることで、解釈可能性、安全性、セキュリティに関する研究を優先して、学術的なコンピューティングへのアクセスを賢明に強化できる可能性があります。
構造化されたアクセス プログラムと第三者監査により、業界シス​​テムの外部評価を測定できるようになる可能性もあります。

要約(オリジナル)

There are pronounced differences in the extent to which industrial and academic AI labs use computing resources. We provide a data-driven survey of the role of the compute divide in shaping machine learning research. We show that a compute divide has coincided with a reduced representation of academic-only research teams in compute intensive research topics, especially foundation models. We argue that, academia will likely play a smaller role in advancing the associated techniques, providing critical evaluation and scrutiny, and in the diffusion of such models. Concurrent with this change in research focus, there is a noticeable shift in academic research towards embracing open source, pre-trained models developed within the industry. To address the challenges arising from this trend, especially reduced scrutiny of influential models, we recommend approaches aimed at thoughtfully expanding academic insights. Nationally-sponsored computing infrastructure coupled with open science initiatives could judiciously boost academic compute access, prioritizing research on interpretability, safety and security. Structured access programs and third-party auditing may also allow measured external evaluation of industry systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google