Topic Modeling with Fine-tuning LLMs and Bag of Sentences

要約

大規模言語モデル (LLM) は、LDA などの古典的なトピック モデルよりも優れたトピック モデリングに使用されることが増えています。
一般に、微調整によって LLM が大幅に改善されることが知られているにもかかわらず、BERT などの事前トレーニングされた LLM エンコーダがそのまま使用されます。
課題は、微調整に適した (ラベル付き) データセットを取得することにあります。
この論文では、トピックを計算する際の基本単位として文章のバッグを使用するという最近のアイデアを使用します。
次に、主にトレーニング データセットを自動的に構築するための 2 つのステップに基づいて教師なし微調整を実行するアプローチ FT-Topic を導き出します。
まず、同じトピックまたは異なるトピックであると想定される文グループのペアを識別するヒューリスティックな方法です。
次に、間違ってラベル付けされている可能性のある文のペアを削除します。
次に、このデータセットを使用してエンコーダ LLM を微調整します。エンコーダ LLM は、埋め込みを使用したトピック モデリング アプローチで活用できます。
しかし、この研究では、SenClu と呼ばれる新しい最先端のトピック モデリング手法を導出することで、その有効性を実証します。この手法は、期待値最大化アルゴリズムと単一トピックへの文グループのハード割り当てを通じて高速推論を実現します。
ユーザーは、トピックとドキュメントの配布に関する事前知識をエンコードできる可能性があります。
コードは \url{https://github.com/JohnTailor/FT-Topic} にあります。

要約(オリジナル)

Large language models (LLM)’s are increasingly used for topic modeling outperforming classical topic models such as LDA. Commonly, pre-trained LLM encoders such as BERT are used out-of-the-box despite the fact that fine-tuning is known to improve LLMs considerably. The challenge lies in obtaining a suitable (labeled) dataset for fine-tuning. In this paper, we use the recent idea to use bag of sentences as the elementary unit in computing topics. In turn, we derive an approach FT-Topic to perform unsupervised fine-tuning relying primarily on two steps for constructing a training dataset in an automatic fashion. First, a heuristic method to identifies pairs of sentence groups that are either assumed to be of the same or different topics. Second, we remove sentence pairs that are likely labeled incorrectly. The dataset is then used to fine-tune an encoder LLM, which can be leveraged by any topic modeling approach using embeddings. However, in this work, we demonstrate its effectiveness by deriving a novel state-of-the-art topic modeling method called SenClu, which achieves fast inference through an expectation-maximization algorithm and hard assignments of sentence groups to a single topic, while giving users the possibility to encode prior knowledge on the topic-document distribution. Code is at \url{https://github.com/JohnTailor/FT-Topic}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google