A Large-Scale Sensitivity Analysis on Latent Embeddings and Dimensionality Reductions for Text Spatializations

要約

テキスト コーパスのドキュメント間の意味上の類似性は、2 次元の散布図レイアウトに基づく地図のようなメタファーを使用して視覚化できます。
これらのレイアウトは、文書用語行列の次元削減、またはトピック モデルを含む潜在的な埋め込み内の表現の結果として得られます。
そのため、結果のレイアウトは入力データと次元削減のハイパーパラメータに依存するため、それらの変更の影響を受けます。
さらに、結果として得られるレイアウトは、入力データの変更と次元削減のハイパーパラメーターの影響を受けます。
ただし、このようなレイアウトの変更には、ユーザーの追加の認知的努力が必要です。
この研究では、(1) テキスト コーパスの変更、(2) ハイパーパラメータの変更、および (3) 初期化のランダム性に関するこれらのレイアウトの安定性を分析する感度研究を紹介します。
私たちのアプローチには、データ測定とデータ分析の 2 つの段階があります。
まず、3 つのテキスト コーパスと 6 つのテキスト埋め込みを組み合わせたレイアウトと、グリッド検索にヒントを得た次元削減のハイパーパラメーター選択を導き出しました。
その後、ローカル構造とグローバル構造、およびクラス分離に関する 10 の指標を通じてレイアウトの類似性を定量化しました。
次に、結果として得られた 42817 個の表形式データ ポイントを記述統計分析で分析しました。
これに基づいて、レイアウト アルゴリズムに関する十分な情報に基づいた決定を行うためのガイドラインを導き出し、特定のハイパーパラメーター設定を強調表示しました。
実装は https://github.com/hpicgs/Topic-Models-and-Dimensionality-Reduction-Sensitivity-Study で Git リポジトリとして提供され、結果は Zenodo アーカイブとして https://doi.org/10.5281/zenodo で提供されます。
12772898。

要約(オリジナル)

The semantic similarity between documents of a text corpus can be visualized using map-like metaphors based on two-dimensional scatterplot layouts. These layouts result from a dimensionality reduction on the document-term matrix or a representation within a latent embedding, including topic models. Thereby, the resulting layout depends on the input data and hyperparameters of the dimensionality reduction and is therefore affected by changes in them. Furthermore, the resulting layout is affected by changes in the input data and hyperparameters of the dimensionality reduction. However, such changes to the layout require additional cognitive efforts from the user. In this work, we present a sensitivity study that analyzes the stability of these layouts concerning (1) changes in the text corpora, (2) changes in the hyperparameter, and (3) randomness in the initialization. Our approach has two stages: data measurement and data analysis. First, we derived layouts for the combination of three text corpora and six text embeddings and a grid-search-inspired hyperparameter selection of the dimensionality reductions. Afterward, we quantified the similarity of the layouts through ten metrics, concerning local and global structures and class separation. Second, we analyzed the resulting 42817 tabular data points in a descriptive statistical analysis. From this, we derived guidelines for informed decisions on the layout algorithm and highlight specific hyperparameter settings. We provide our implementation as a Git repository at https://github.com/hpicgs/Topic-Models-and-Dimensionality-Reduction-Sensitivity-Study and results as Zenodo archive at https://doi.org/10.5281/zenodo.12772898.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google