A Bayesian approach to modeling topic-metadata relationships

要約

高度なトピックモデリングの目的は、潜在的な局所構造を探求するだけでなく、発見されたトピックと理論的に関連するメタデータとの関係を推定することです。
そのような関係を推定するために使用される方法は、局所構造が直接観察されるのではなく、通常は一般的なトピックモデルによって監視されていない方法でそれ自体を推定されることを考慮に入れる必要があります。
これを達成するために頻繁に使用される手順は、メタデータ共変量のサンプリングされたトピックの割合の複数の繰り返し線形回帰を実行するモンテカルロサンプリング手法である組成の方法です。
このペーパーでは、このアプローチの2つの変更を提案します。まず、線形回帰をより適切なベータ回帰に置き換えることにより、RパッケージSTMからの組成方法の既存の実装を大幅に改善します。
第二に、頻繁なメソッドとベイジアン法の現在のブレンドを完全にベイジアンアプローチに置き換えることにより、推定フレーム全体の基本的な強化を提供します。
これにより、不確実性のより適切な定量化が可能になります。
ドイツの議会議員によるTwitterの投稿と、構造的トピックモデルを使用してトピックの割合を推定するために選挙区に関連するさまざまなメタデータ共変量間の関係を調査することにより、改善された方法論を説明します。

要約(オリジナル)

The objective of advanced topic modeling is not only to explore latent topical structures, but also to estimate relationships between the discovered topics and theoretically relevant metadata. Methods used to estimate such relationships must take into account that the topical structure is not directly observed, but instead being estimated itself in an unsupervised fashion, usually by common topic models. A frequently used procedure to achieve this is the method of composition, a Monte Carlo sampling technique performing multiple repeated linear regressions of sampled topic proportions on metadata covariates. In this paper, we propose two modifications of this approach: First, we substantially refine the existing implementation of the method of composition from the R package stm by replacing linear regression with the more appropriate Beta regression. Second, we provide a fundamental enhancement of the entire estimation framework by substituting the current blending of frequentist and Bayesian methods with a fully Bayesian approach. This allows for a more appropriate quantification of uncertainty. We illustrate our improved methodology by investigating relationships between Twitter posts by German parliamentarians and different metadata covariates related to their electoral districts, using the Structural Topic Model to estimate topic proportions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google