Scalable Multi-phase Word Embedding Using Conjunctive Propositional Clauses

要約

ツェトリン・マシン（TM）アーキテクチャは、近年、機械学習（ML）、特に自然言語処理（NLP）においてその有効性が実証されている。TMは、接続命題句を用いた単語埋め込みを構築するために利用されており、それによって機械が導き出した判断の理解と解釈を大幅に向上させている。従来のアプローチでは、入力された単語列に対して単語埋め込みを行い、情報をまとまりのある統一的な表現に統合していた。しかし、このアプローチは、入力のサイズが大きくなるにつれて、スケーラビリティの問題に直面する。本研究では、入力シーケンスの文脈埋め込みを発見するために、2段階の学習を組み込んだ新しいアプローチを導入する。具体的には、各入力単語に関する知識をデータセットの語彙の中にカプセル化し、その後、抽出された知識を利用して入力単語のシーケンスに対する埋め込みを構築する。この手法はスケーラブルなモデルの設計を容易にするだけでなく、解釈可能性を保持する。我々の実験結果から、提案手法は従来のアプローチと比較して競争力のある性能をもたらし、人間が生成したベンチマークとは対照的に有望な結果を示すことが明らかになった。さらに、提案手法をIMDBデータセットのセンチメント分析に適用したところ、TM埋め込みとTM分類器は、他の解釈可能な分類器とともに、競争力のある性能を持つ透明なエンドツーエンドのソリューションを提供した。

要約(オリジナル)

The Tsetlin Machine (TM) architecture has recently demonstrated effectiveness in Machine Learning (ML), particularly within Natural Language Processing (NLP). It has been utilized to construct word embedding using conjunctive propositional clauses, thereby significantly enhancing our understanding and interpretation of machine-derived decisions. The previous approach performed the word embedding over a sequence of input words to consolidate the information into a cohesive and unified representation. However, that approach encounters scalability challenges as the input size increases. In this study, we introduce a novel approach incorporating two-phase training to discover contextual embeddings of input sequences. Specifically, this method encapsulates the knowledge for each input word within the dataset’s vocabulary, subsequently constructing embeddings for a sequence of input words utilizing the extracted knowledge. This technique not only facilitates the design of a scalable model but also preserves interpretability. Our experimental findings revealed that the proposed method yields competitive performance compared to the previous approaches, demonstrating promising results in contrast to human-generated benchmarks. Furthermore, we applied the proposed approach to sentiment analysis on the IMDB dataset, where the TM embedding and the TM classifier, along with other interpretable classifiers, offered a transparent end-to-end solution with competitive performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL