Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling

要約

強力なゼロショット トピック抽出機能を備えた大規模言語モデル (LLM) は、確率的トピック モデリングやクローズドセット トピック分類アプローチに代わるものを提供します。
ゼロショットトピック抽出者として、LLM は人間の指示を理解し、与えられた文書に基づいて関連性のある非幻覚トピックを生成することが期待されます。
ただし、LLM ベースのトピック モデリング アプローチでは、人間の指示で指定された粒度を遵守してトピックを生成することが困難になることが多く、多くのほぼ重複したトピックが生成されることがよくあります。
さらに、LLM によって生成される幻覚トピックに対処する方法はまだ調査されていません。
このペーパーでは、LLM ベースのトピック モデリングを改善するために、トピックの細分性と幻覚の問題に対処することに焦点を当てます。
この目的を達成するために、Direct Preference Optimization (DPO) を活用して、Mistral-7B などのオープンソース LLM を微調整する新しいアプローチを導入します。
私たちのアプローチは、優先される回答をランク付けするために従来の人による注釈に依存するのではなく、LLM によって生成された生のトピックを変更する再構成パイプラインを採用することで、高速かつ効率的なトレーニングと推論のフレームワークを可能にします。
比較実験により、私たちの微調整アプローチにより、より一貫性があり、関連性があり、正確なトピックを生成する LLM の能力が大幅に向上するだけでなく、幻覚トピックの数も減少することがわかりました。

要約(オリジナル)

Large language models (LLMs) with their strong zero-shot topic extraction capabilities offer an alternative to probabilistic topic modelling and closed-set topic classification approaches. As zero-shot topic extractors, LLMs are expected to understand human instructions to generate relevant and non-hallucinated topics based on the given documents. However, LLM-based topic modelling approaches often face difficulties in generating topics with adherence to granularity as specified in human instructions, often resulting in many near-duplicate topics. Furthermore, methods for addressing hallucinated topics generated by LLMs have not yet been investigated. In this paper, we focus on addressing the issues of topic granularity and hallucinations for better LLM-based topic modelling. To this end, we introduce a novel approach that leverages Direct Preference Optimisation (DPO) to fine-tune open-source LLMs, such as Mistral-7B. Our approach does not rely on traditional human annotation to rank preferred answers but employs a reconstruction pipeline to modify raw topics generated by LLMs, thus enabling a fast and efficient training and inference framework. Comparative experiments show that our fine-tuning approach not only significantly improves the LLM’s capability to produce more coherent, relevant, and precise topics, but also reduces the number of hallucinated topics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google