PE: A Poincare Explanation Method for Fast Text Hierarchy Generation

要約

NLP における深層学習モデルのブラックボックス的な性質は、その広範な適用を妨げています。
研究の焦点は、機能の相互作用をモデル化する機能として階層型アトリビューション (HA) に移りました。
最近の研究では、特徴表現の根底にある言語情報を無視して、時間のかかる貪欲な探索をエキュリディアン空間で行うことにより、非連続的な組み合わせをモデル化しています。
この研究では、時間効率の良い方法で双曲空間との特徴相互作用をモデル化するための新しい方法、すなわちポアンカレ説明 (PE) を導入します。
具体的には、テキスト階層の構築を、双曲空間でスパニング ツリーを見つけることとみなします。
まず、埋め込みを双曲空間に投影して、意味論的および構文の階層構造の継承を引き出します。
次に、Shapley スコアを計算するためのシンプルかつ効果的な戦略を提案します。
最後に、投影された空間での構築プロセスが最小スパニング ツリーの構築とみなせることを証明して階層を構築し、時間効率の良い構築アルゴリズムを導入します。
実験結果は、私たちのアプローチの有効性を示しています。

要約(オリジナル)

The black-box nature of deep learning models in NLP hinders their widespread application. The research focus has shifted to Hierarchical Attribution (HA) for its ability to model feature interactions. Recent works model non-contiguous combinations with a time-costly greedy search in Eculidean spaces, neglecting underlying linguistic information in feature representations. In this work, we introduce a novel method, namely Poincare Explanation (PE), for modeling feature interactions with hyperbolic spaces in a time efficient manner. Specifically, we take building text hierarchies as finding spanning trees in hyperbolic spaces. First we project the embeddings into hyperbolic spaces to elicit inherit semantic and syntax hierarchical structures. Then we propose a simple yet effective strategy to calculate Shapley score. Finally we build the the hierarchy with proving the constructing process in the projected space could be viewed as building a minimum spanning tree and introduce a time efficient building algorithm. Experimental results demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google