Scaling up Discovery of Latent Concepts in Deep NLP Models

要約

ディープ NLP モデルによって引き起こされた革命にもかかわらず、モデルはブラックボックスのままであり、その意思決定プロセスを理解するための研究が必要です。
ダルヴィらによる最近の研究。
(2022) は、事前トレーニング済みモデル (PLM) 内の潜在空間をクラスタリングするというレンズを通して表現分析を実行しましたが、そのアプローチは、凝集型階層クラスタリングの実行コストが高いため、小規模に限定されます。
この論文では、PLM 表現内のエンコードされた概念の発見をより大きなデータセットとモデルに拡張するために、クラスタリング アルゴリズムを研究します。
発見された潜在概念の品質を評価するための指標を提案し、それらを使用して研究されたクラスタリング アルゴリズムを比較します。
K-Means ベースのコンセプト発見により、得られたコンセプトの品質を維持しながら効率が大幅に向上することがわかりました。
さらに、潜在概念の発見を LLM と語句概念に拡張することにより、この新たに発見された効率の実用性を実証します。

要約(オリジナル)

Despite the revolution caused by deep NLP models, they remain black boxes, necessitating research to understand their decision-making processes. A recent work by Dalvi et al. (2022) carried out representation analysis through the lens of clustering latent spaces within pre-trained models (PLMs), but that approach is limited to small scale due to the high cost of running Agglomerative hierarchical clustering. This paper studies clustering algorithms in order to scale the discovery of encoded concepts in PLM representations to larger datasets and models. We propose metrics for assessing the quality of discovered latent concepts and use them to compare the studied clustering algorithms. We found that K-Means-based concept discovery significantly enhances efficiency while maintaining the quality of the obtained concepts. Furthermore, we demonstrate the practicality of this newfound efficiency by scaling latent concept discovery to LLMs and phrasal concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google