NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals

要約

非常に大きなニューラルネットワークによって学んだ表現と計算の科学的研究を可能にするためにタンデムで働く技術であるNnsightとNDIFを紹介します。
Nnsightは、Pytorchを拡張して延期されたリモート実行を導入するオープンソースシステムです。
National Deep Inference Fabric（NDIF）は、NNSIGHTリクエストを実行するスケーラブルな推論サービスであり、ユーザーがGPUリソ​​ースと前提条件のモデルを共有できるようにします。
これらのテクノロジーは、モデルランタイムの実験設計を分離するために開発されたアーキテクチャである介入グラフによって有効になります。
一緒に、このフレームワークは、カスタマイズされたモデルを個別にホストするコストや複雑さを課すことなく、非常に大きな言語モデル（LLM）などの深いニューラルネットワークの内部への透明で効率的なアクセスを提供します。
大規模なAIの内部の研究におけるギャップが高まっていることを明らかにする機械学習文献の定量的調査を実施しています。
巨大なモデルに関するさまざまな研究方法を可能にすることにより、このギャップに対処するためのフレームワークの設計と使用を実証します。
最後に、パフォーマンスを以前のアプローチと比較するためにベンチマークを実施します。
コード、ドキュメント、チュートリアルはhttps://nnsight.net/で入手できます。

要約(オリジナル)

We introduce NNsight and NDIF, technologies that work in tandem to enable scientific study of the representations and computations learned by very large neural networks. NNsight is an open-source system that extends PyTorch to introduce deferred remote execution. The National Deep Inference Fabric (NDIF) is a scalable inference service that executes NNsight requests, allowing users to share GPU resources and pretrained models. These technologies are enabled by the Intervention Graph, an architecture developed to decouple experimental design from model runtime. Together, this framework provides transparent and efficient access to the internals of deep neural networks such as very large language models (LLMs) without imposing the cost or complexity of hosting customized models individually. We conduct a quantitative survey of the machine learning literature that reveals a growing gap in the study of the internals of large-scale AI. We demonstrate the design and use of our framework to address this gap by enabling a range of research methods on huge models. Finally, we conduct benchmarks to compare performance with previous approaches. Code, documentation, and tutorials are available at https://nnsight.net/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google