Unveiling Topological Structures from Language: A Comprehensive Survey of Topological Data Analysis Applications in NLP

要約

インターネット上で利用可能なデータの急増により、この豊富な情報から貴重な洞察を分析および抽出するためのさまざまな計算方法が採用されました。
これらの中で、機械学習の分野（ML）は、データを活用して意味のある洞察を抽出することで繁栄しています。
ただし、ML技術は、多くの場合、不均衡、騒音、ラベル不足、高次元の問題のために、実際のデータを扱う際に顕著な課題に直面しています。
これらの制限に対処するために、一部の研究者は、トポロジーデータ分析（TDA）の採用を提唱しています。これは、ノイズにもかかわらず、固有のデータの形状を目立たせる統計的アプローチです。
その可能性にもかかわらず、TDAは、コンピュータービジョンなどの構造的に異なる領域と比較して、自然言語処理（NLP）ドメイン内でそれほど多くの牽引力を獲得していません。
それにもかかわらず、研究者の献身的なコミュニティがNLPでのTDAの適用を調査しており、この論文で包括的に調査した95の論文を生み出しています。
私たちの調査結果は、これらの努力を理論的および非理論的アプローチに分類します。
理論的アプローチは、トポロジカルな観点から言語現象を説明することを目的としていますが、非理論的アプローチは、多様な数値表現技術を利用してTDAをML機能と統合します。
このニッチな分野で持続する課題と未解決の質問を探ることで結論を出します。
このトピックに関するリソースと論文のリストは、https：//github.com/adauchendu/awesometda4nlpにあります。

要約(オリジナル)

The surge of data available on the internet has led to the adoption of various computational methods to analyze and extract valuable insights from this wealth of information. Among these, the field of Machine Learning (ML) has thrived by leveraging data to extract meaningful insights. However, ML techniques face notable challenges when dealing with real-world data, often due to issues of imbalance, noise, insufficient labeling, and high dimensionality. To address these limitations, some researchers advocate for the adoption of Topological Data Analysis (TDA), a statistical approach that discerningly captures the intrinsic shape of data despite noise. Despite its potential, TDA has not gained as much traction within the Natural Language Processing (NLP) domain compared to structurally distinct areas like computer vision. Nevertheless, a dedicated community of researchers has been exploring the application of TDA in NLP, yielding 95 papers we comprehensively survey in this paper. Our findings categorize these efforts into theoretical and non-theoretical approaches. Theoretical approaches aim to explain linguistic phenomena from a topological viewpoint, while non-theoretical approaches merge TDA with ML features, utilizing diverse numerical representation techniques. We conclude by exploring the challenges and unresolved questions that persist in this niche field. Resources and a list of papers on this topic can be found at: https://github.com/AdaUchendu/AwesomeTDA4NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google