BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence

要約

テキストの一貫性を測定することは、書かれたコンテンツの品質を評価する上で重要な側面です。
神経コヒーレンス モデリングの最近の進歩は、エンティティのコリファレンスと談話関係を捕捉する際の有効性を実証し、それによってコヒーレンス評価を強化しています。
ただし、既存の手法の多くは静的埋め込みに大きく依存しているか、近くのコンテキストに狭く焦点を当てているため、長いテキストの包括的な一貫性を測定する能力が制限されています。
この論文では、一貫したテキストは本質的に文間の連続的かつ一貫した相互作用を示し、中心的なテーマ、目的、または立場を効果的に伝えるものであると仮定します。
この抽象的な関係を調査するために、テキストの一貫性を評価するためのブラウン ブリッジ理論に基づいた新しい参照不要の指標である「BBScore」を紹介します。
私たちの調査結果は、この指標が単純な追加の分類コンポーネントと相乗すると、標準的な人工識別タスクにおける最先端の技術に匹敵するパフォーマンス レベルを達成することを示しています。
また、下流のタスクでは、このメトリクスが、人間が書いた文書と、特定のドメインの下で大規模な言語モデルによって生成されたテキストとを効果的に区別できることを確立します。
さらに、多様な大規模言語モデルに起因する記述スタイルの検出におけるこのアプローチの有効性を示し、一般化可能性の可能性を強調します。
要約すると、エンドツーエンドのモデルトレーニングの必要性を回避しながら、ローカルとグローバルの両方のテキストコヒーレンスを測定できる新しいブラウンブリッジコヒーレンスメトリックを紹介します。
この柔軟性により、さまざまな下流タスクへの適用が可能になります。

要約(オリジナル)

Measuring the coherence of text is a vital aspect of evaluating the quality of written content. Recent advancements in neural coherence modeling have demonstrated their efficacy in capturing entity coreference and discourse relations, thereby enhancing coherence evaluation. However, many existing methods heavily depend on static embeddings or focus narrowly on nearby context, constraining their capacity to measure the overarching coherence of long texts. In this paper, we posit that coherent texts inherently manifest a sequential and cohesive interplay among sentences, effectively conveying the central theme, purpose, or standpoint. To explore this abstract relationship, we introduce the ‘BBScore,’ a novel reference-free metric grounded in Brownian bridge theory for assessing text coherence. Our findings showcase that when synergized with a simple additional classification component, this metric attains a performance level comparable to state-of-the-art techniques on standard artificial discrimination tasks. We also establish in downstream tasks that this metric effectively differentiates between human-written documents and text generated by large language models under a specific domain. Furthermore, we illustrate the efficacy of this approach in detecting written styles attributed to diverse large language models, underscoring its potential for generalizability. In summary, we present a novel Brownian bridge coherence metric capable of measuring both local and global text coherence, while circumventing the need for end-to-end model training. This flexibility allows for its application in various downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google