NeuroSurgeon: A Toolkit for Subnetwork Analysis

要約

最近、説明可能性の分野が進歩したにもかかわらず、ニューラルネットが学習して表現するアルゴリズムについては不明な点が多い。最近の研究では、学習したモデルを機能回路に分解して理解することが試みられている（Csord’as et al.）この研究を進めるために、我々は、Huggingface Transformersライブラリのモデル内のサブネットワークを発見し、操作するために使用できるPythonライブラリであるNeuroSurgeonを開発した（Wolf et al.）NeuroSurgeonはhttps://github.com/mlepori1/NeuroSurgeon、自由に利用できる。

要約(オリジナル)

Despite recent advances in the field of explainability, much remains unknown about the algorithms that neural networks learn to represent. Recent work has attempted to understand trained models by decomposing them into functional circuits (Csord\’as et al., 2020; Lepori et al., 2023). To advance this research, we developed NeuroSurgeon, a python library that can be used to discover and manipulate subnetworks within models in the Huggingface Transformers library (Wolf et al., 2019). NeuroSurgeon is freely available at https://github.com/mlepori1/NeuroSurgeon.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL