Can persistent homology whiten Transformer-based black-box models? A case study on BERT compression

要約

BERT のような大規模言語モデル (LLM) は、さまざまな自然言語処理タスクにおける優れたパフォーマンスにより、非常に注目を集めています。
ただし、かなりの計算コストとメモリコストがかかります。
さらに、これらは本質的にブラックボックス モデルであり、説明と解釈が困難です。
この記事では、永続的な相同性を使用して BERT モデルに説明可能性をもたらす方法論である Optimus BERT Compression and Explainability (OBCE) を提案します。その目的は、出力のトポロジカルな特性を研究することで各ニューロンの重要性を測定することです。
その結果、パラメータの数を減らすことで BERT を大幅に圧縮できます (BERT Base では元のパラメータの 58.47%、BERT Large では 52.3%)。
標準的な GLUE ベンチマークで当社の方法論を評価し、その結果を最先端の技術と比較し、優れた結果を達成しました。
その結果、私たちの方法論は、ニューロンに説明可能性を提供し、モデルのサイズを縮小することによって BERT モデルを「ホワイトニング」し、リソースに制約のあるデバイスへの展開により適したものにすることができます。

要約(オリジナル)

Large Language Models (LLMs) like BERT have gained significant prominence due to their remarkable performance in various natural language processing tasks. However, they come with substantial computational and memory costs. Additionally, they are essentially black-box models, challenging to explain and interpret. In this article, we propose Optimus BERT Compression and Explainability (OBCE), a methodology to bring explainability to BERT models using persistent homology, aiming to measure the importance of each neuron by studying the topological characteristics of their outputs. As a result, we can compress BERT significantly by reducing the number of parameters (58.47% of the original parameters for BERT Base, 52.3% for BERT Large). We evaluated our methodology on the standard GLUE Benchmark, comparing the results with state-of-the-art techniques and achieving outstanding results. Consequently, our methodology can ‘whiten’ BERT models by providing explainability to its neurons and reducing the model’s size, making it more suitable for deployment on resource-constrained devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google