PE: A Poincare Explanation Method for Fast Text Hierarchy Generation

要約

NLP における深層学習モデルのブラックボックス的な性質は、その広範な適用を妨げています。
研究の焦点は、機能の相互作用をモデル化する機能として階層型アトリビューション (HA) に移りました。
最近の研究では、特徴表現の根底にある言語情報を無視して、時間のかかる貪欲な探索をエキュリディアン空間で行うことにより、非連続的な組み合わせをモデル化しています。
この研究では、$O(n^2logn)$ の時間計算量で双曲空間を使用して特徴相互作用をモデル化するための新しい方法、つまりポアンカレ説明 (PE) を導入します。
ポアンカレ モデルに触発されて、私たちは埋め込みを双曲空間に投影するためのフレームワークを提案します。これは、構文と意味の階層構造に対してより優れた帰納的バイアスを示します。
最終的に、投影された空間での階層的クラスタリング プロセスが最小スパニング ツリーの構築とみなせることを証明し、時間効率の良いアルゴリズムを提案します。
実験結果は、私たちのアプローチの有効性を示しています。

要約(オリジナル)

The black-box nature of deep learning models in NLP hinders their widespread application. The research focus has shifted to Hierarchical Attribution (HA) for its ability to model feature interactions. Recent works model non-contiguous combinations with a time-costly greedy search in Eculidean spaces, neglecting underlying linguistic information in feature representations. In this work, we introduce a novel method, namely Poincar\’e Explanation (PE), for modeling feature interactions using hyperbolic spaces in an $O(n^2logn)$ time complexity. Inspired by Poincar\’e model, we propose a framework to project the embeddings into hyperbolic spaces, which exhibit better inductive biases for syntax and semantic hierarchical structures. Eventually, we prove that the hierarchical clustering process in the projected space could be viewed as building a minimum spanning tree and propose a time efficient algorithm. Experimental results demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google