Unveiling Topological Structures in Text: A Comprehensive Survey of Topological Data Analysis Applications in NLP

要約

インターネット上で利用できるデータが急増したため、この豊富な情報を分析して貴重な洞察を抽出するために、さまざまな計算手法が採用されるようになりました。
中でも、機械学習 (ML) の分野は、データを活用して有意義な洞察を抽出することで成長してきました。
ただし、ML 技術は、実世界のデータを扱う際に、多くの場合、不均衡、ノイズ、不十分なラベル付け、高次元の問題が原因で、顕著な課題に直面します。
これらの制限に対処するために、一部の研究者は、ノイズにもかかわらずデータの固有の形状を識別して捕捉する統計的アプローチであるトポロジカル データ分析 (TDA) の採用を主張しています。
TDA は、その可能性にもかかわらず、コンピューター ビジョンなどの構造的に異なる領域と比較して、自然言語処理 (NLP) ドメイン内でそれほど注目を集めていません。
それにもかかわらず、熱心な研究者コミュニティが NLP における TDA の応用を模索しており、この論文で包括的に調査した 85 件の論文が生まれました。
私たちの調査結果では、これらの取り組みを理論的アプローチと非理論的アプローチに分類しています。
理論的アプローチは言語現象をトポロジカルな観点から説明することを目的としていますが、非理論的アプローチは多様な数値表現技術を利用して TDA と ML の特徴を融合します。
最後に、このニッチな分野に残る課題と未解決の疑問を探っていきます。
このトピックに関するリソースと論文のリストは、https://github.com/AdaUchendu/AwesomeTDA4NLP でご覧いただけます。

要約(オリジナル)

The surge of data available on the internet has led to the adoption of various computational methods to analyze and extract valuable insights from this wealth of information. Among these, the field of Machine Learning (ML) has thrived by leveraging data to extract meaningful insights. However, ML techniques face notable challenges when dealing with real-world data, often due to issues of imbalance, noise, insufficient labeling, and high dimensionality. To address these limitations, some researchers advocate for the adoption of Topological Data Analysis (TDA), a statistical approach that discerningly captures the intrinsic shape of data despite noise. Despite its potential, TDA has not gained as much traction within the Natural Language Processing (NLP) domain compared to structurally distinct areas like computer vision. Nevertheless, a dedicated community of researchers has been exploring the application of TDA in NLP, yielding 85 papers we comprehensively survey in this paper. Our findings categorize these efforts into theoretical and nontheoretical approaches. Theoretical approaches aim to explain linguistic phenomena from a topological viewpoint, while non-theoretical approaches merge TDA with ML features, utilizing diverse numerical representation techniques. We conclude by exploring the challenges and unresolved questions that persist in this niche field. Resources and a list of papers on this topic can be found at: https://github.com/AdaUchendu/AwesomeTDA4NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google