NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals

要約

非常に大規模なニューラルネットワークの科学的研究を可能にするために連携して動作する技術であるNNsightとNDIFを紹介する。NNsight は PyTorch を拡張して遅延リモート実行を導入したオープンソースのシステムです。NDIFはNNsightのリクエストを実行するスケーラブルな推論サービスであり、ユーザーはGPUリソースと事前に訓練されたモデルを共有することができます。これらの技術は、実験デザインとモデルランタイムを切り離すために開発されたアーキテクチャである介入グラフによって実現されています。このフレームワークにより、カスタマイズされたモデルを個別にホストするコストや複雑さを伴わずに、超大規模言語モデル（LLM）のようなディープニューラルネットワークの内部への透過的かつ効率的なアクセスが可能になります。機械学習に関する文献を定量的に調査し、大規模AIの内部研究のギャップが拡大していることを明らかにする。巨大なモデルに対する様々な研究手法を可能にすることで、このギャップを解決するための我々のフレームワークの設計と利用を実証する。最後に、ベンチマークを実施し、従来のアプローチと性能を比較する。コードドキュメントと資料は、https://nnsight.net/。

要約(オリジナル)

We introduce NNsight and NDIF, technologies that work in tandem to enable scientific study of very large neural networks. NNsight is an open-source system that extends PyTorch to introduce deferred remote execution. NDIF is a scalable inference service that executes NNsight requests, allowing users to share GPU resources and pretrained models. These technologies are enabled by the intervention graph, an architecture developed to decouple experiment design from model runtime. Together, this framework provides transparent and efficient access to the internals of deep neural networks such as very large language models (LLMs) without imposing the cost or complexity of hosting customized models individually. We conduct a quantitative survey of the machine learning literature that reveals a growing gap in the study of the internals of large-scale AI. We demonstrate the design and use of our framework to address this gap by enabling a range of research methods on huge models. Finally, we conduct benchmarks to compare performance with previous approaches. Code documentation, and materials are available at https://nnsight.net/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL