Process Reward Modeling with Entropy-Driven Uncertainty

投稿日: 2025年3月31日 作成者: jarxiv

要約

このペーパーでは、エントロピー駆動型の統一プロセス報酬モデル（EDU-PRM）を紹介します。これは、トレーニングコストを大幅に削減しながら、プロセスの監督における最新のパフォーマンスに近い新しいフレームワークです。
EDU-PRMは、ロジット分布エントロピーを使用してトークン生成中の高逃走領域を動的に特定するエントロピー誘導動的ステップ分割メカニズムを導入します。
この自己評価機能により、手動で細めの注釈なしで正確なステップレベルのフィードバックが可能になり、プロセスの監督における重要な課題に対処します。
わずか7,500のEDU-PRMで生成されたトレーニングクエリのQWEN2.5-72Bモデルでの実験は、完全なQWEN2.5-72B-PRM（71.1％対71.6％）に密接に近似し、前の方法と比較してクエリコストを98％削減する精度を示しています。
この作業は、スケーラブルなプロセス報酬モデルトレーニングのための効率的なアプローチとしてEDU-PRMを確立します。

要約(オリジナル)

This paper presents the Entropy-Driven Unified Process Reward Model (EDU-PRM), a novel framework that approximates state-of-the-art performance in process supervision while drastically reducing training costs. EDU-PRM introduces an entropy-guided dynamic step partitioning mechanism, using logit distribution entropy to pinpoint high-uncertainty regions during token generation dynamically. This self-assessment capability enables precise step-level feedback without manual fine-grained annotation, addressing a critical challenge in process supervision. Experiments on the Qwen2.5-72B model with only 7,500 EDU-PRM-generated training queries demonstrate accuracy closely approximating the full Qwen2.5-72B-PRM (71.1% vs. 71.6%), achieving a 98% reduction in query cost compared to prior methods. This work establishes EDU-PRM as an efficient approach for scalable process reward model training.

arxiv情報

著者 Lang Cao,Renhong Chen,Yingtian Zou,Chao Peng,Wu Ning,Huacong Xu,Qian Chen,Yuxian Wang,Peishuo Su,Mofan Peng,Zijie Chen,Yitong Li
発行日 2025-03-28 08:33:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Process Reward Modeling with Entropy-Driven Uncertainty はコメントを受け付けていません

VinaBench: Benchmark for Faithful and Consistent Visual Narratives

投稿日: 2025年3月31日 作成者: jarxiv

要約

視覚的な物語の生成は、テキストの物語をテキストの内容を示す画像のシーケンスに変換します。
ただし、ストーリーの計画に使用される知識の制約がないため、入力テキストに忠実であり、生成された画像全体で自己整合性のある視覚的な物語を生成することは、オープンな挑戦のままです。
この作業では、この課題に対処するために、新しいベンチマークであるVinabenchを提案します。
私たちのベンチマークは、視覚的な物語サンプルの根底にある常識と談話の制約に注釈を付け、視覚的なストーリーテリングの暗黙の戦略を学ぶための体系的な足場を提供します。
組み込まれた物語の制約に基づいて、さらに新しいメトリックを提案して、生成された物語画像の一貫性と入力テキストの物語との世代の整合性を綿密に評価します。
3つの生成ビジョンモデルにわたる結果は、Vinabenchの知識の制約を使用して学習することで、生成された視覚的な物語の忠実さと結束が効果的に改善されることを示しています。

要約(オリジナル)

Visual narrative generation transforms textual narratives into sequences of images illustrating the content of the text. However, generating visual narratives that are faithful to the input text and self-consistent across generated images remains an open challenge, due to the lack of knowledge constraints used for planning the stories. In this work, we propose a new benchmark, VinaBench, to address this challenge. Our benchmark annotates the underlying commonsense and discourse constraints in visual narrative samples, offering systematic scaffolds for learning the implicit strategies of visual storytelling. Based on the incorporated narrative constraints, we further propose novel metrics to closely evaluate the consistency of generated narrative images and the alignment of generations with the input textual narrative. Our results across three generative vision models demonstrate that learning with VinaBench’s knowledge constraints effectively improves the faithfulness and cohesion of generated visual narratives.

arxiv情報

著者 Silin Gao,Sheryl Mathew,Li Mi,Sepideh Mamooler,Mengjie Zhao,Hiromi Wakaki,Yuki Mitsufuji,Syrielle Montariol,Antoine Bosselut
発行日 2025-03-28 09:18:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CV | VinaBench: Benchmark for Faithful and Consistent Visual Narratives はコメントを受け付けていません

Enhancing Small Language Models for Cross-Lingual Generalized Zero-Shot Classification with Soft Prompt Tuning

投稿日: 2025年3月31日 作成者: jarxiv

要約

NLPでは、ゼロショット分類（ZSC）が、モデルがトレーニング中に見えないカテゴリにテキストを分類することを可能にするために不可欠になりました。
ZSCでは、事前に保護された言語モデル（PLMS）が有望であるが、多くの場合、大規模なトレーニングデータセットまたは外部知識に依存しており、多言語および低リソースシナリオでの適用性を制限しています。
自然言語のプロンプトを活用する最近のアプローチは、大規模なトレーニングデータセットへの依存を減らしますが、特にこれらのデータセットが異なる言語または分布に由来する場合、関連する分類タスクから利用可能なラベル付けされたデータを効果的に組み込むのに苦労しています。
さらに、既存のプロンプトベースの方法は、通常、特定の言語で手動で作成されたプロンプトに依存しており、順応性のある設定における適応性と有効性を制限します。
これらの課題に対処するために、データ分布のシフト全体で堅牢な一般化を確保しながら、言語間ZSCを強化するソフトプロンプトをトレーニングするための軽量でデータ効率の高いアプローチであるRospromptを紹介します。
ROSPROMPTは、小さな多言語PLMS向けに設計されており、高リソース言語を活用して、大規模な微調整または高い計算コストを必要とせずに低リソース設定でのパフォーマンスを改善することができます。
106の言語をカバーするデータセット全体の複数の多言語PLMでアプローチを評価し、目に見えないクラスにわたって強力な横断的転送パフォーマンスと堅牢な一般化機能を実証します。

要約(オリジナル)

In NLP, Zero-Shot Classification (ZSC) has become essential for enabling models to classify text into categories unseen during training, particularly in low-resource languages and domains where labeled data is scarce. While pretrained language models (PLMs) have shown promise in ZSC, they often rely on large training datasets or external knowledge, limiting their applicability in multilingual and low-resource scenarios. Recent approaches leveraging natural language prompts reduce the dependence on large training datasets but struggle to effectively incorporate available labeled data from related classification tasks, especially when these datasets originate from different languages or distributions. Moreover, existing prompt-based methods typically rely on manually crafted prompts in a specific language, limiting their adaptability and effectiveness in cross-lingual settings. To address these challenges, we introduce RoSPrompt, a lightweight and data-efficient approach for training soft prompts that enhance cross-lingual ZSC while ensuring robust generalization across data distribution shifts. RoSPrompt is designed for small multilingual PLMs, enabling them to leverage high-resource languages to improve performance in low-resource settings without requiring extensive fine-tuning or high computational costs. We evaluate our approach on multiple multilingual PLMs across datasets covering 106 languages, demonstrating strong cross-lingual transfer performance and robust generalization capabilities over unseen classes.

arxiv情報

著者 Fred Philippy,Siwen Guo,Cedric Lothritz,Jacques Klein,Tegawendé F. Bissyandé
発行日 2025-03-28 09:23:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Enhancing Small Language Models for Cross-Lingual Generalized Zero-Shot Classification with Soft Prompt Tuning はコメントを受け付けていません

CFiCS: Graph-Based Classification of Common Factors and Microcounseling Skills

投稿日: 2025年3月31日 作成者: jarxiv

要約

一般的な要因とマイクロカウンセリングスキルは、心理療法の有効性にとって重要です。
これらの要素を理解して測定することで、治療プロセスと結果に関する貴重な洞察が得られます。
ただし、テキストデータからのこれらの変更原則の自動識別は、治療的対話の微妙でコンテキスト依存性の性質のために依然として困難です。
このペーパーでは、グラフの機械学習を前処理されたコンテキスト埋め込みと統合する階層分類フレームワークであるCFICSを紹介します。
私たちは、共通の要因、介入概念、およびマイクロカウンセリングスキルを不均一なグラフとして表します。ここでは、臨床バートからのテキスト情報が各ノードを豊かにします。
この構造は、階層的な関係（例えば、幅広い要因にリンクするスキルレベルのノード）と治療概念のセマンティック特性の両方をキャプチャします。
グラフニューラルネットワークを活用することにより、CFICSは、明示的な接続を欠く目に見えないテキストサンプルに一般化する誘導性ノード埋め込みを学習します。
我々の結果は、ClinicalBertノードの機能とグラフ構造を統合することで、特にきれいなスキル予測において、分類パフォーマンスが大幅に向上することを示しています。
CFICSは、ランダムフォレスト、バートベースのマルチタスクモデル、グラフベースの方法など、ベースラインと比較して、すべてのタスクにわたってマイクロF1スコアとマクロF1スコアの両方で大幅な利益を得ています。

要約(オリジナル)

Common factors and microcounseling skills are critical to the effectiveness of psychotherapy. Understanding and measuring these elements provides valuable insights into therapeutic processes and outcomes. However, automatic identification of these change principles from textual data remains challenging due to the nuanced and context-dependent nature of therapeutic dialogue. This paper introduces CFiCS, a hierarchical classification framework integrating graph machine learning with pretrained contextual embeddings. We represent common factors, intervention concepts, and microcounseling skills as a heterogeneous graph, where textual information from ClinicalBERT enriches each node. This structure captures both the hierarchical relationships (e.g., skill-level nodes linking to broad factors) and the semantic properties of therapeutic concepts. By leveraging graph neural networks, CFiCS learns inductive node embeddings that generalize to unseen text samples lacking explicit connections. Our results demonstrate that integrating ClinicalBERT node features and graph structure significantly improves classification performance, especially in fine-grained skill prediction. CFiCS achieves substantial gains in both micro and macro F1 scores across all tasks compared to baselines, including random forests, BERT-based multi-task models, and graph-based methods.

arxiv情報

著者 Fabian Schmidt,Karin Hammerfald,Henrik Haaland Jahren,Vladimir Vlassov
発行日 2025-03-28 09:46:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | CFiCS: Graph-Based Classification of Common Factors and Microcounseling Skills はコメントを受け付けていません

MultiClaimNet: A Massively Multilingual Dataset of Fact-Checked Claim Clusters

投稿日: 2025年3月31日 作成者: jarxiv

要約

事実確認の文脈では、クレームはさまざまなプラットフォームや異なる言語で繰り返されることが多く、この冗長性を減らすプロセスから恩恵を受けることができます。
以前の事実確認されたクレームの取得が解決策として調査されていますが、未検証の請求の数が増え、事実確認されたデータベースのサイズが拡大すると、代替のより効率的なソリューションが必要です。
有望な解決策は、同じ根本的な事実をクラスターに議論して、請求の検索と検証を改善するグループの主張です。
ただし、クレームクラスタリングに関する研究は、適切なデータセットの欠如によって妨げられています。
このギャップを埋めるために、多様なトピック全体に86の言語でクレームを含む3つの多言語クレームクラスターデータセットのコレクションである\ textit {multiclaimnet}を紹介します。
クレームクラスターは、手動介入が限られているクレームマッチングペアから自動的に形成されます。
2つの既存のクレームマッチングデータセットを活用して、\ textIT {multiclaimnet}内に小さなデータセットを形成します。
より大きなデータセットを構築するために、おおよその最近傍の検索を含むアプローチを提案し、検証して、候補者の請求ペアと、大規模な言語モデルを使用してクレームの類似性の自動注釈を形成します。
この大きなデータセットには、78の言語で書かれた85.3Kのファクトチェックされたクレームが含まれています。
さらに、さまざまなクラスタリング技術を使用して広範な実験を実施し、ベースラインのパフォーマンスを確立するために埋め込みモデルを埋め込みます。
データセットと調査結果は、効率的な事実確認パイプラインに貢献するスケーラブルなクレームクラスタリングの強力な基盤を提供します。

要約(オリジナル)

In the context of fact-checking, claims are often repeated across various platforms and in different languages, which can benefit from a process that reduces this redundancy. While retrieving previously fact-checked claims has been investigated as a solution, the growing number of unverified claims and expanding size of fact-checked databases calls for alternative, more efficient solutions. A promising solution is to group claims that discuss the same underlying facts into clusters to improve claim retrieval and validation. However, research on claim clustering is hindered by the lack of suitable datasets. To bridge this gap, we introduce \textit{MultiClaimNet}, a collection of three multilingual claim cluster datasets containing claims in 86 languages across diverse topics. Claim clusters are formed automatically from claim-matching pairs with limited manual intervention. We leverage two existing claim-matching datasets to form the smaller datasets within \textit{MultiClaimNet}. To build the larger dataset, we propose and validate an approach involving retrieval of approximate nearest neighbors to form candidate claim pairs and an automated annotation of claim similarity using large language models. This larger dataset contains 85.3K fact-checked claims written in 78 languages. We further conduct extensive experiments using various clustering techniques and sentence embedding models to establish baseline performance. Our datasets and findings provide a strong foundation for scalable claim clustering, contributing to efficient fact-checking pipelines.

arxiv情報

著者 Rrubaa Panchendrarajan,Rubén Míguez,Arkaitz Zubiaga
発行日 2025-03-28 09:49:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | MultiClaimNet: A Massively Multilingual Dataset of Fact-Checked Claim Clusters はコメントを受け付けていません

Evil twins are not that evil: Qualitative insights into machine-generated prompts

投稿日: 2025年3月31日 作成者: jarxiv

要約

言語モデル（LMS）は、予測可能な方法で、一見理解できないように見えるアルゴリズム的に生成されたプロンプトに応答することが広く観察されています。
これは、LMSがどのように機能するかを完全に理解していないことと実際的な課題の両方であり、JailbreakingなどのLMSの有害な使用には不透明度が悪用される可能性があるためです。
6 LMSの異なるサイズとファミリに関連する不透明な機械で生成されたプロンプトまたはオートプロムの最初の徹底的な分析を提示します。
機械で生成されたプロンプトは、しばしば理解可能であり、世代に強く影響する最後のトークンによって特徴付けられていることがわかります。
前のトークンのわずかで一貫した割合が剪定でき、おそらく最適化プロセスがトークンの数を修正するという事実の副産物としてプロンプトに表示されます。
残りのトークンは2つのカテゴリに分類されます。フィラートークンは、意味的に無関係な代替物に置き換えることができ、キーワードは少なくとも生成とのゆるい意味関係を持つ傾向がありますが、それとは十分に形成された構文関係に従事していません。
さらに、人間の専門家は、事後のオートプレムで最も影響力のあるトークンを確実に識別することができ、これらのプロンプトは完全に不透明ではないことを示唆しています。
最後に、私たちがオートプロムに適用したアブレーションのいくつかは、自然言語の入力で同様の効果をもたらし、LMSがLMSを一般的に言語入力を処理する方法から自然に現れることを示唆しています。

要約(オリジナル)

It has been widely observed that language models (LMs) respond in predictable ways to algorithmically generated prompts that are seemingly unintelligible. This is both a sign that we lack a full understanding of how LMs work, and a practical challenge, because opaqueness can be exploited for harmful uses of LMs, such as jailbreaking. We present the first thorough analysis of opaque machine-generated prompts, or autoprompts, pertaining to 6 LMs of different sizes and families. We find that machine-generated prompts are characterized by a last token that is often intelligible and strongly affects the generation. A small but consistent proportion of the previous tokens are prunable, probably appearing in the prompt as a by-product of the fact that the optimization process fixes the number of tokens. The remaining tokens fall into two categories: filler tokens, which can be replaced with semantically unrelated substitutes, and keywords, that tend to have at least a loose semantic relation with the generation, although they do not engage in well-formed syntactic relations with it. Additionally, human experts can reliably identify the most influential tokens in an autoprompt a posteriori, suggesting these prompts are not entirely opaque. Finally, some of the ablations we applied to autoprompts yield similar effects in natural language inputs, suggesting that autoprompts emerge naturally from the way LMs process linguistic inputs in general.

arxiv情報

著者 Nathanaël Carraz Rakotonirina,Corentin Kervadec,Francesca Franzon,Marco Baroni
発行日 2025-03-28 10:07:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Evil twins are not that evil: Qualitative insights into machine-generated prompts はコメントを受け付けていません

Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering

投稿日: 2025年3月31日 作成者: jarxiv

要約

会話の質問回答（Convqa）には、複数のサブタスクが含まれます。i）コンテキストで不完全な質問を理解する、ii）関連情報を取得する、iii）回答を生成する。
この作業は、3つのサブタスクのそれぞれのLLMアダプターを訓練するConvqa向けのパイプラインベースのアプローチである賞賛を提示します。
個々のサブタスクのラベル付きトレーニングデータは実際には利用できません。賞賛は、人間の介入なしのフィードバック信号として最終的な回答パフォーマンスを使用して、独自の世代から学習し、関連する証拠のような中間情報を弱くラベル付けされたデータとして扱います。
サブタスクごとに成功したサンプルと失敗したサンプルを対比することにより、直接優先最適化を適用します。
実験では、このトレーニングパラダイムの有効性を示します。賞賛はサブタスクあたりの改善を示し、ベースラインで15.5パーセントポイント増加することにより、人気のあるConvqaベンチマークで新しい最先端のパフォーマンスを達成します。

要約(オリジナル)

Conversational Question Answering (ConvQA) involves multiple subtasks, i) to understand incomplete questions in their context, ii) to retrieve relevant information, and iii) to generate answers. This work presents PRAISE, a pipeline-based approach for ConvQA that trains LLM adapters for each of the three subtasks. As labeled training data for individual subtasks is unavailable in practice, PRAISE learns from its own generations using the final answering performance as feedback signal without human intervention and treats intermediate information, like relevant evidence, as weakly labeled data. We apply Direct Preference Optimization by contrasting successful and unsuccessful samples for each subtask. In our experiments, we show the effectiveness of this training paradigm: PRAISE shows improvements per subtask and achieves new state-of-the-art performance on a popular ConvQA benchmark, by gaining 15.5 percentage points increase in precision over baselines.

arxiv情報

著者 Magdalena Kaiser,Gerhard Weikum
発行日 2025-03-28 10:26:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering はコメントを受け付けていません

EQ-Negotiator: An Emotion-Reasoning LLM Agent in Credit Dialogues

投稿日: 2025年3月31日 作成者: jarxiv

要約

大規模な言語モデル（LLM）ベースのチャットボットは、クレジットの対話に効果的に関与するために適用されていますが、動的な感情表現の能力は限られたままです。
現在のエージェントは、主に感情的な推論ではなく、受動的な共感に依存しています。
たとえば、持続的なクライアントの否定性に直面した場合、エージェントは測定された怒りを表現して逆効果的な行動を思いとどまらせ、解決に向けて会話を導くことにより、戦略的な感情的適応を採用する必要があります。
このコンテキストを意識した感情的変調は、人間の交渉者の微妙な意思決定を模倣するために不可欠です。
このペーパーでは、事前訓練を受けた言語モデル（PLM）からの感情センシングと、ゲーム理論と隠されたマルコフモデルに基づく感情的推論を組み合わせたEQネゴチエーターを紹介します。
相互作用中に否定的な感情をより適切に管理および対処するために、クライアントの現在と歴史的な感情の両方を考慮しています。
公共の感情データセットで事前訓練を受けた言語モデル（PLM）を微調整し、クレジットダイアログデータセットでそれらを検証することにより、LLMベースのエージェントはクライアント感情のシフトを効果的にキャプチャし、実際の金融交渉における感情決定ポリシーに基づいて応答トーンを動的に調整することができます。
このEQネゴチャンは、クレジット機関が積極的なクライアント関係を促進し、クレジットサービスの満足度を高めるのにも役立ちます。

要約(オリジナル)

While large language model (LLM)-based chatbots have been applied for effective engagement in credit dialogues, their capacity for dynamic emotional expression remains limited. Current agents primarily rely on passive empathy rather than affective reasoning. For instance, when faced with persistent client negativity, the agent should employ strategic emotional adaptation by expressing measured anger to discourage counterproductive behavior and guide the conversation toward resolution. This context-aware emotional modulation is essential for imitating the nuanced decision-making of human negotiators. This paper introduces an EQ-negotiator that combines emotion sensing from pre-trained language models (PLMs) with emotional reasoning based on Game Theory and Hidden Markov Models. It takes into account both the current and historical emotions of the client to better manage and address negative emotions during interactions. By fine-tuning pre-trained language models (PLMs) on public emotion datasets and validating them on the credit dialogue datasets, our approach enables LLM-based agents to effectively capture shifts in client emotions and dynamically adjust their response tone based on our emotion decision policies in real-world financial negotiations. This EQ-negotiator can also help credit agencies foster positive client relationships, enhancing satisfaction in credit services.

arxiv情報

著者 Yuhan Liu,Yunbo Long
発行日 2025-03-28 10:57:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | EQ-Negotiator: An Emotion-Reasoning LLM Agent in Credit Dialogues はコメントを受け付けていません

A Refined Analysis of Massive Activations in LLMs

投稿日: 2025年3月31日 作成者: jarxiv

要約

低精度のトレーニングと量子化との関連性によって部分的に動機付けられ、最近、大規模な言語モデル（LLM）の大規模な活性化が関心のあるトピックとして浮上しています。
ただし、既存の分析の範囲は限られており、アーキテクチャ全体の一般化可能性は不明です。
このホワイトペーパーは、GLUベースのアーキテクチャと非Gluベースのアーキテクチャの両方を含む幅広いLLMで大規模な活性化の分析を実施することにより、これらのギャップのいくつかに対処するのに役立ちます。
私たちの調査結果は、いくつかの以前の仮定に挑戦します。最も重要なことは、（1）すべての大規模な活性化が有害ではないわけではない。つまり、それらを抑制しても、下流のタスクパフォ​​ーマンスの困惑や崩壊につながることはありません。
（2）注意KVバイアスなどの提案された緩和戦略は、特定の場合にモデル固有であり、効果がない。
その結果、新しいハイブリッド緩和戦略を調査します。
特に、ターゲット分散のペアリアンス（TVR）は注意KVバイアスまたはダイナミックタン（DYT）とのペアリングは、調査したシナリオでの保存された下流モデルパフォーマンスと大規模な活性化の緩和とうまくバランスを取ります。
私たちのコードは、https：//github.com/bluorion-com/refine_massive_activationsで入手できます。

要約(オリジナル)

Motivated in part by their relevance for low-precision training and quantization, massive activations in large language models (LLMs) have recently emerged as a topic of interest. However, existing analyses are limited in scope, and generalizability across architectures is unclear. This paper helps address some of these gaps by conducting an analysis of massive activations across a broad range of LLMs, including both GLU-based and non-GLU-based architectures. Our findings challenge several prior assumptions, most importantly: (1) not all massive activations are detrimental, i.e. suppressing them does not lead to an explosion of perplexity or a collapse in downstream task performance; (2) proposed mitigation strategies such as Attention KV bias are model-specific and ineffective in certain cases. We consequently investigate novel hybrid mitigation strategies; in particular pairing Target Variance Rescaling (TVR) with Attention KV bias or Dynamic Tanh (DyT) successfully balances the mitigation of massive activations with preserved downstream model performance in the scenarios we investigated. Our code is available at: https://github.com/bluorion-com/refine_massive_activations.

arxiv情報

著者 Louis Owen,Nilabhra Roy Chowdhury,Abhay Kumar,Fabian Güra
発行日 2025-03-28 11:08:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | A Refined Analysis of Massive Activations in LLMs はコメントを受け付けていません

SKDU at De-Factify 4.0: Natural Language Features for AI-Generated Text-Detection

投稿日: 2025年3月31日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の急速な進歩により、人間が作成したテキストをAIに生成されたコンテンツと区別する上で、新しい課題が導入されました。
この作業では、機能抽出ステップ（つまり、NELAツールキットから派生したRaidarとコンテンツベースの機能に触発されたプロンプトベースの書き換え機能）を含むAI生成テキスト検出のパイプラインアプローチを調査しました。
包括的な実験は、factify4.0データセットで実施され、2つのタスクを評価します。バイナリ分類は、人間が作成したテキストとAI生成テキストを区別し、マルチクラス分類を分類して、入力テキストを生成するために使用される特定の生成モデルを識別します。
私たちの調査結果は、NELAが両方のタスクでRaidarの機能を大幅に上回る機能を特徴としており、微妙な言語的、文体的、コンテンツベースの違いをキャプチャする能力を示しています。
RaidarとNelaの機能を組み合わせることで、最小限の改善が得られ、差別的な機能の低下によって導入された冗長性が強調されました。
テストされた分類器の中で、Xgboostは最も効果的なものとして浮上し、高精度と一般化を実現するためにリッチな特徴セットを活用しました。

要約(オリジナル)

The rapid advancement of large language models (LLMs) has introduced new challenges in distinguishing human-written text from AI-generated content. In this work, we explored a pipelined approach for AI-generated text detection that includes a feature extraction step (i.e. prompt-based rewriting features inspired by RAIDAR and content-based features derived from the NELA toolkit) followed by a classification module. Comprehensive experiments were conducted on the Defactify4.0 dataset, evaluating two tasks: binary classification to differentiate human-written and AI-generated text, and multi-class classification to identify the specific generative model used to generate the input text. Our findings reveal that NELA features significantly outperform RAIDAR features in both tasks, demonstrating their ability to capture nuanced linguistic, stylistic, and content-based differences. Combining RAIDAR and NELA features provided minimal improvement, highlighting the redundancy introduced by less discriminative features. Among the classifiers tested, XGBoost emerged as the most effective, leveraging the rich feature sets to achieve high accuracy and generalisation.

arxiv情報

著者 Shrikant Malviya,Pablo Arnau-González,Miguel Arevalillo-Herráez,Stamos Katsigiannis
発行日 2025-03-28 11:25:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | SKDU at De-Factify 4.0: Natural Language Features for AI-Generated Text-Detection はコメントを受け付けていません