On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction

投稿日: 2025年4月24日 作成者: jarxiv

要約

クリックスルーレート（CTR）と変換レート（CVR）の予測は、広告推奨システムの成功に重要な役割を果たします。
深い階層アンサンブルネットワーク（DHEN）が、複数の機能交差モジュールを統合するために提案されており、CTR予測で大きな成功を収めています。
ただし、CVR予測のパフォーマンスは、購入、カートへの追加、サインアップなどを含むサードパーティのWebサイトまたはアプリでユーザーのオフサイトアクションの確率にADが入札するため、DHENのいくつかの課題：1）dhen（MLP、DCN、Transformer、emance in nec）を含むものを含むいくつかの課題を含むADが入札されます。
2）効率と有効性の間の最高のトレードオフを達成するために、Dhenはどれほど深く幅広くすべきでしょうか？
3）各機能交差モジュールで選択できるハイパーパラメーターは何ですか？
モデルアーキテクチャの直交である入力パーソナライズ機能は、高度な自由度でモデルのパフォーマンスにも大きな影響を与えます。
このホワイトペーパーでは、この問題を攻撃し、次のような応用データサイエンスの側面に偏った貢献を提示します。まず、DHENを使用したマルチタスク学習フレームワークを単一のバックボーンモデルアーキテクチャとして提案し、すべてのCVRタスクを予測し、DHENを実践的に効果的に機能させる方法に関する詳細な研究を行います。
第二に、CVR予測のためにオンサイトのリアルタイムユーザー動作シーケンスとオフサイト変換イベントシーケンスの両方を構築し、その重要性に関するアブレーション研究を実施します。
最後になりましたが、CVR予測のラベルのスパースネスの問題を解決するために、入力シーケンスの将来のアクションを予測するために、自己監視の補助的損失を提案します。
当社の方法は、事前に訓練されたユーザーパーソナライズ機能を備えた以前の単一機能交差モジュールと比較して、最先端のパフォーマンスを実現します。

要約(オリジナル)

The predictions of click through rate (CTR) and conversion rate (CVR) play a crucial role in the success of ad-recommendation systems. A Deep Hierarchical Ensemble Network (DHEN) has been proposed to integrate multiple feature crossing modules and has achieved great success in CTR prediction. However, its performance for CVR prediction is unclear in the conversion ads setting, where an ad bids for the probability of a user’s off-site actions on a third party website or app, including purchase, add to cart, sign up, etc. A few challenges in DHEN: 1) What feature-crossing modules (MLP, DCN, Transformer, to name a few) should be included in DHEN? 2) How deep and wide should DHEN be to achieve the best trade-off between efficiency and efficacy? 3) What hyper-parameters to choose in each feature-crossing module? Orthogonal to the model architecture, the input personalization features also significantly impact model performance with a high degree of freedom. In this paper, we attack this problem and present our contributions biased to the applied data science side, including: First, we propose a multitask learning framework with DHEN as the single backbone model architecture to predict all CVR tasks, with a detailed study on how to make DHEN work effectively in practice; Second, we build both on-site real-time user behavior sequences and off-site conversion event sequences for CVR prediction purposes, and conduct ablation study on its importance; Last but not least, we propose a self-supervised auxiliary loss to predict future actions in the input sequence, to help resolve the label sparseness issue in CVR prediction. Our method achieves state-of-the-art performance compared to previous single feature crossing modules with pre-trained user personalization features.

arxiv情報

著者 Jinfeng Zhuang,Yinrui Li,Runze Su,Ke Xu,Zhixuan Shao,Kungang Li,Ling Leng,Han Sun,Meng Qi,Yixiong Meng,Yang Tang,Zhifang Liu,Qifei Shen,Aayush Mudgal,Caleb Lu,Jie Liu,Hongda Shen
発行日 2025-04-23 16:03:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.AP, stat.ML | On the Practice of Deep Hierarchical Ensemble Network for Ad Conversion Rate Prediction はコメントを受け付けていません

TALES: Text Adventure Learning Environment Suite

投稿日: 2025年4月24日 作成者: jarxiv

要約

推論は、大規模な言語モデル（LLM）が世界と対話できるようにするための不可欠なスキルです。
タスクがより複雑になるにつれて、彼らは順次意思決定のためにますます洗練された多様な推論能力を要求し、次の最高のアクションを決定するために、コンテキスト履歴に関する構造化された推論を必要とします。
Talesを紹介します。Talesは、多様な推論能力に挑戦し、評価するために設計された、合成および人間が作成したテキストアドベンチャーゲームの多様なコレクションです。
さまざまなLLMS、オープンウェイトおよびクローズウェイトで結果を提示し、上部のパフォーマンスモデルで定性分析を実行します。
合成ゲームでの印象的なショーにもかかわらず、トップのLLM主導のエージェントでさえ、人間の楽しみのために設計されたゲームで15％を達成できませんでした。
実験のコードと視覚化は、https：//microsoft.github.io/talesで見つけることができます。

要約(オリジナル)

Reasoning is an essential skill to enable Large Language Models (LLMs) to interact with the world. As tasks become more complex, they demand increasingly sophisticated and diverse reasoning capabilities for sequential decision-making, requiring structured reasoning over the context history to determine the next best action. We introduce TALES, a diverse collection of synthetic and human-written text-adventure games designed to challenge and evaluate diverse reasoning capabilities. We present results over a range of LLMs, open- and closed-weights, performing a qualitative analysis on the top performing models. Despite an impressive showing on synthetic games, even the top LLM-driven agents fail to achieve 15% on games designed for human enjoyment. Code and visualization of the experiments can be found at https://microsoft.github.io/tales.

arxiv情報

著者 Christopher Zhang Cui,Xingdi Yuan,Ziang Xiao,Prithviraj Ammanabrolu,Marc-Alexandre Côté
発行日 2025-04-23 16:31:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | TALES: Text Adventure Learning Environment Suite はコメントを受け付けていません

Natural Language Processing in the Patent Domain: A Survey

投稿日: 2025年4月24日 作成者: jarxiv

要約

テキスト形式の重要な技術的および法的情報をカプセル化し、図面を参照する特許は、自然言語処理（NLP）アプリケーションの豊富なドメインを提示します。
NLPテクノロジーが進化するにつれて、大規模な言語モデル（LLMS）は、一般的なテキスト処理および生成タスクで優れた機能を実証しています。
ただし、特許領域でのLLMの適用は、特に言語と法的枠組みの複雑さのために、特許ドメインの複雑さのために不足しておらず、未開発のままです。
特許文書のユニークな特性と特許領域での関連研究を理解することは、研究者がこれらのツールを効果的に適用するために不可欠です。
したがって、このペーパーは、この複雑なドメインを効率的にナビゲートするための重要な知識をNLP研究者に装備することを目的としています。
強固な背景情報を提供するために、特許の関連する基本的な側面を紹介します。
さらに、特許に固有の構造的および言語特性を体系的に分解し、NLPを特許分析と生成にどのように活用できるかをマップします。
さらに、9つの特許分析と4つの特許生成タスクを含む、テキストベースおよびマルチモーダル特許関連のタスクのスペクトルを実証します。

要約(オリジナル)

Patents, which encapsulate crucial technical and legal information in text form and referenced drawings, present a rich domain for natural language processing (NLP) applications. As NLP technologies evolve, large language models (LLMs) have demonstrated outstanding capabilities in general text processing and generation tasks. However, the application of LLMs in the patent domain remains under-explored and under-developed due to the complexity of patents, particularly their language and legal framework. Understanding the unique characteristics of patent documents and related research in the patent domain becomes essential for researchers to apply these tools effectively. Therefore, this paper aims to equip NLP researchers with the essential knowledge to navigate this complex domain efficiently. We introduce the relevant fundamental aspects of patents to provide solid background information. In addition, we systematically break down the structural and linguistic characteristics unique to patents and map out how NLP can be leveraged for patent analysis and generation. Moreover, we demonstrate the spectrum of text-based and multimodal patent-related tasks, including nine patent analysis and four patent generation tasks.

arxiv情報

著者 Lekang Jiang,Stephan Goetz
発行日 2025-04-23 16:48:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Natural Language Processing in the Patent Domain: A Survey はコメントを受け付けていません

aiXamine: Simplified LLM Safety and Security

投稿日: 2025年4月24日 作成者: jarxiv

要約

安全性とセキュリティのために大規模な言語モデル（LLM）を評価すると、複雑なタスクのままであり、多くの場合、ユーザーはアドホックベンチマーク、データセット、メトリック、およびレポート形式の断片化されたランドスケープをナビゲートする必要があります。
この課題に対処するために、LLMの安全性とセキュリティのための包括的なブラックボックス評価プラットフォームであるAixamineを提示します。
Aixamineは、安全性とセキュリティの特定の側面を対象とした8つの重要なサービスに整理された40を超えるテスト（つまり、ベンチマーク）を統合します：敵対的な堅牢性、コードセキュリティ、公平性とバイアス、幻覚、モデルとデータのプライバシー、分散除外（OOD）堅牢性、過剰反応、および安全整合。
このプラットフォームは、評価結果をモデルごとに単一の詳細なレポートに集約し、モデルのパフォーマンス、テストの例、および豊富な視覚化の詳細な内訳を提供します。
アイシャミンを使用して、50を超える公的に利用可能な独自のLLMSを評価し、2K以上の試験を実施しました。
私たちの調査結果は、OpenaiのGPT-4Oでの敵対的攻撃に対する感受性、XaiのGROK-3の偏りのある出力、GoogleのGemini 2.0のプライバシーの弱点など、主要なモデルの顕著な脆弱性を明らかにしています。
さらに、オープンソースモデルは、安全アライメント、公平性、バイアス、OODの堅牢性などの特定のサービスで独自モデルと一致または上回ることができることを観察します。
最後に、蒸留戦略、モデルサイズ、トレーニング方法、および建築的選択の間のトレードオフを特定します。

要約(オリジナル)

Evaluating Large Language Models (LLMs) for safety and security remains a complex task, often requiring users to navigate a fragmented landscape of ad hoc benchmarks, datasets, metrics, and reporting formats. To address this challenge, we present aiXamine, a comprehensive black-box evaluation platform for LLM safety and security. aiXamine integrates over 40 tests (i.e., benchmarks) organized into eight key services targeting specific dimensions of safety and security: adversarial robustness, code security, fairness and bias, hallucination, model and data privacy, out-of-distribution (OOD) robustness, over-refusal, and safety alignment. The platform aggregates the evaluation results into a single detailed report per model, providing a detailed breakdown of model performance, test examples, and rich visualizations. We used aiXamine to assess over 50 publicly available and proprietary LLMs, conducting over 2K examinations. Our findings reveal notable vulnerabilities in leading models, including susceptibility to adversarial attacks in OpenAI’s GPT-4o, biased outputs in xAI’s Grok-3, and privacy weaknesses in Google’s Gemini 2.0. Additionally, we observe that open-source models can match or exceed proprietary models in specific services such as safety alignment, fairness and bias, and OOD robustness. Finally, we identify trade-offs between distillation strategies, model size, training methods, and architectural choices.

arxiv情報

著者 Fatih Deniz,Dorde Popovic,Yazan Boshmaf,Euisuh Jeong,Minhaj Ahmad,Sanjay Chawla,Issa Khalil
発行日 2025-04-23 16:52:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | aiXamine: Simplified LLM Safety and Security はコメントを受け付けていません

Towards Physics-Guided Foundation Models

投稿日: 2025年4月24日 作成者: jarxiv

要約

従来の基礎モデルは、幅広いダウンストリームタスクを微調整するために必要なトレーニングリソース（時間、エネルギー、ラベル付きサンプルなど）を削減するために、幅広いデータセットで事前に訓練されています。
ただし、従来の基礎モデルは、分散除外予測と格闘しており、非現実的で身体的に実行不可能な出力を生成できます。
物理誘導基礎モデル（PGFM）の表記法、つまり、広範囲または一般的なドメイン（例えば、科学的）の物理的知識と統合された基礎モデルの表記法を提案します。

要約(オリジナル)

Traditional foundation models are pre-trained on broad datasets to reduce the training resources (e.g., time, energy, labeled samples) needed for fine-tuning a wide range of downstream tasks. However, traditional foundation models struggle with out-of-distribution prediction and can produce outputs that are unrealistic and physically infeasible. We propose the notation of physics-guided foundation models (PGFM), that is, foundation models integrated with broad or general domain (e.g., scientific) physical knowledge applicable to a wide range of downstream tasks.

arxiv情報

著者 Majid Farhadloo,Arun Sharma,Mingzhou Yang,Bharat Jayaprakash,William Northrop,Shashi Shekhar
発行日 2025-04-23 16:58:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Towards Physics-Guided Foundation Models はコメントを受け付けていません

AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset

投稿日: 2025年4月24日 作成者: jarxiv

要約

このペーパーでは、AI数学オリンピアード – 進歩賞2（AIMO -2）コンペティションへの当社の勝利の提出を提示します。
最先端の数学的推論モデルを構築するための私たちのレシピは、3つの重要な柱に依存しています。
まず、オリンピアードレベルの問題を含む540kのユニークな高品質の数学の問題と、3.2mの長期的なソリューションを含む大規模なデータセットを作成します。
第二に、反復トレーニング、生成、および品質フィルタリングを通じてコード実行を長い推論モデルと統合する新しい方法を開発し、1.7mの高品質のツール統合推論ソリューションをもたらします。
第三に、多くの候補者から最も有望なソリューションを選択するためのモデルをトレーニングするパイプラインを作成します。
このような生成ソリューション選択（GenSelect）が、多数派の投票ベースラインを大幅に改善できることを示しています。
これらのアイデアを組み合わせることで、数学的推論ベンチマークに関する最先端の結果を達成する一連のモデルをトレーニングします。
さらなる調査を容易にするために、商業的に許容されるライセンスの下で、コード、モデル、および完全なOpenMathreasiningデータセットをリリースします。

要約(オリジナル)

This paper presents our winning submission to the AI Mathematical Olympiad – Progress Prize 2 (AIMO-2) competition. Our recipe for building state-of-the-art mathematical reasoning models relies on three key pillars. First, we create a large-scale dataset comprising 540K unique high-quality math problems, including olympiad-level problems, and their 3.2M long-reasoning solutions. Second, we develop a novel method to integrate code execution with long reasoning models through iterative training, generation, and quality filtering, resulting in 1.7M high-quality Tool-Integrated Reasoning solutions. Third, we create a pipeline to train models to select the most promising solution from many candidates. We show that such generative solution selection (GenSelect) can significantly improve upon majority voting baseline. Combining these ideas, we train a series of models that achieve state-of-the-art results on mathematical reasoning benchmarks. To facilitate further research, we release our code, models, and the complete OpenMathReasoning dataset under a commercially permissive license.

arxiv情報

著者 Ivan Moshkov,Darragh Hanley,Ivan Sorokin,Shubham Toshniwal,Christof Henkel,Benedikt Schifferer,Wei Du,Igor Gitman
発行日 2025-04-23 17:13:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset はコメントを受け付けていません

Clinical QA 2.0: Multi-Task Learning for Answer Extraction and Categorization

投稿日: 2025年4月24日 作成者: jarxiv

要約

臨床質問応答（CQA）は、医学的意思決定において重要な役割を果たし、医師が電子医療記録（EMR）から関連情報を抽出できるようにします。
Bert、Biobert、ClinicalBertなどのトランスベースのモデルはCQAで最先端のパフォーマンスを実証していますが、既存のモデルには抽出された回答を分類する能力がありません。
この制限に対処するために、回答抽出と医療分類の両方についてCQAモデルを共同でトレーニングするマルチタスク学習（MTL）フレームワークを導入します。
回答スパンの予測に加えて、我々のモデルは、診断、投薬、症状、手順、ラボレポートの5つの標準化された医療カテゴリに応答を分類します。
この分類により、より構造化された解釈可能な出力が可能になり、現実世界のヘルスケア設定で臨床QAモデルがより有用になります。
医療質問応答のための大規模なデータセットであるEMRQAでのアプローチを評価します。
結果は、MTLが標準の微調整と比較してF1スコアを2.2％改善し、回答の分類で90.7％の精度を達成したことを示しています。
これらの調査結果は、MTLがCQAのパフォーマンスを向上させるだけでなく、分類および構造化された医療情報の検索のための効果的なメカニズムも導入することを示唆しています。

要約(オリジナル)

Clinical Question Answering (CQA) plays a crucial role in medical decision-making, enabling physicians to extract relevant information from Electronic Medical Records (EMRs). While transformer-based models such as BERT, BioBERT, and ClinicalBERT have demonstrated state-of-the-art performance in CQA, existing models lack the ability to categorize extracted answers, which is critical for structured retrieval, content filtering, and medical decision support. To address this limitation, we introduce a Multi-Task Learning (MTL) framework that jointly trains CQA models for both answer extraction and medical categorization. In addition to predicting answer spans, our model classifies responses into five standardized medical categories: Diagnosis, Medication, Symptoms, Procedure, and Lab Reports. This categorization enables more structured and interpretable outputs, making clinical QA models more useful in real-world healthcare settings. We evaluate our approach on emrQA, a large-scale dataset for medical question answering. Results show that MTL improves F1-score by 2.2% compared to standard fine-tuning, while achieving 90.7% accuracy in answer categorization. These findings suggest that MTL not only enhances CQA performance but also introduces an effective mechanism for categorization and structured medical information retrieval.

arxiv情報

著者 Priyaranjan Pattnayak,Hitesh Laxmichand Patel,Amit Agarwal,Bhargava Kumar,Srikant Panda,Tejaswini Kumar
発行日 2025-04-23 17:13:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Clinical QA 2.0: Multi-Task Learning for Answer Extraction and Categorization はコメントを受け付けていません

Building A Secure Agentic AI Application Leveraging A2A Protocol

投稿日: 2025年4月24日 作成者: jarxiv

要約

エージェントAIシステムが基本的なワークフローから複雑なマルチエージェントコラボレーションに進化するにつれて、GoogleのAgent2Agent（A2A）などの堅牢なプロトコルが不可欠なイネーブラーになります。
安全な採用を促進し、これらの複雑な相互作用の信頼性を確保するために、A2Aの安全な実装を理解することが不可欠です。
このペーパーでは、A2Aプロトコルを中心とした包括的なセキュリティ分析を提供することにより、この目標に対処します。
その基本的な要素と運用上のダイナミクスを調べ、エージェントコミュニケーション開発のフレームワーク内に位置します。
AIリスク用に特別に設計されたMaestroフレームワークを利用して、A2Aの展開の潜在的なセキュリティ問題を評価するために、プロアクティブな脅威モデリングを適用し、エージェントカード管理、タスクの整合性、認証方法論などの側面に焦点を当てています。
これらの洞察に基づいて、実用的な安全な開発方法論と、回復力のある効果的なA2Aシステムを構築するために設計された建築ベストプラクティスをお勧めします。
また、私たちの分析では、A2Aとモデルコンテキストプロトコル（MCP）の相乗効果が、安全な相互運用性をさらに強化する方法を調査します。
このペーパーは、開発者と建築家に、堅牢で安全な次世代エージェントアプリケーションを構築するためにA2Aプロトコルを自信を持って活用するために必要な知識と実用的なガイダンスを装備しています。

要約(オリジナル)

As Agentic AI systems evolve from basic workflows to complex multi agent collaboration, robust protocols such as Google’s Agent2Agent (A2A) become essential enablers. To foster secure adoption and ensure the reliability of these complex interactions, understanding the secure implementation of A2A is essential. This paper addresses this goal by providing a comprehensive security analysis centered on the A2A protocol. We examine its fundamental elements and operational dynamics, situating it within the framework of agent communication development. Utilizing the MAESTRO framework, specifically designed for AI risks, we apply proactive threat modeling to assess potential security issues in A2A deployments, focusing on aspects such as Agent Card management, task execution integrity, and authentication methodologies. Based on these insights, we recommend practical secure development methodologies and architectural best practices designed to build resilient and effective A2A systems. Our analysis also explores how the synergy between A2A and the Model Context Protocol (MCP) can further enhance secure interoperability. This paper equips developers and architects with the knowledge and practical guidance needed to confidently leverage the A2A protocol for building robust and secure next generation agentic applications.

arxiv情報

著者 Idan Habler,Ken Huang,Vineeth Sai Narajala,Prashant Kulkarni
発行日 2025-04-23 17:27:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | Building A Secure Agentic AI Application Leveraging A2A Protocol はコメントを受け付けていません

A Measure Based Generalizable Approach to Understandability

投稿日: 2025年4月24日 作成者: jarxiv

要約

エージェントと人間のパートナーシップを成功させるには、すべてのエージェントが生成した情報が人間にとって理解可能であり、人間がエージェントを目標に向けて簡単に誘導できることを要求しています。
このような効果的なコミュニケーションには、エージェントが人間にとって理解できるもののより細かいレベルの概念を開発する必要があります。
LLMを含む最先端のエージェントには、トレーニングデータから平均人間の感性を捉えているため、操縦性が限られているため（例えば、些細な迅速なエンジニアリングを必要とする）、理解可能性のこの詳細な概念が欠けています。
この論文では、データのみに依存するのではなく、これらのエージェントの指示として使用できる理解可能性の一般化可能なドメインに依存しない測定を開発することを主張します。
理解可能性の測定に関する既存の研究は断片化されており、ドメイン全体でさまざまな努力を調査し、将来のよりコヒーレントおよびドメインに依存しない研究調査のために認知科学的に根ざした基礎を築きます。

要約(オリジナル)

Successful agent-human partnerships require that any agent generated information is understandable to the human, and that the human can easily steer the agent towards a goal. Such effective communication requires the agent to develop a finer-level notion of what is understandable to the human. State-of-the-art agents, including LLMs, lack this detailed notion of understandability because they only capture average human sensibilities from the training data, and therefore afford limited steerability (e.g., requiring non-trivial prompt engineering). In this paper, instead of only relying on data, we argue for developing generalizable, domain-agnostic measures of understandability that can be used as directives for these agents. Existing research on understandability measures is fragmented, we survey various such efforts across domains, and lay a cognitive-science-rooted groundwork for more coherent and domain-agnostic research investigations in future.

arxiv情報

著者 Vikas Kushwaha,Sruti Srinivasa Ragavan,Subhajit Roy
発行日 2025-04-23 17:39:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.SE | A Measure Based Generalizable Approach to Understandability はコメントを受け付けていません

Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text

投稿日: 2025年4月24日 作成者: jarxiv

要約

近年、AIに生成されたテキストの検出は、学問の完全性、誤った情報、および倫理的AIの展開に関する懸念により、研究の重要な分野になりました。
このペーパーでは、AIに生成されたテキストを検出し、特定の言語モデルを特定するための新しいフレームワークであるCOT Fine-Tunedを紹介します。
テキストの生成を担当します。
タスクAにはAIが生成または人間が書かれたものとして分類することを含むデュアルタスクアプローチを提案し、タスクBはテキストの背後にある特定のLLMを識別します。
私たちの方法の重要な革新は、考え方の推論の使用にあり、これにより、モデルはその予測の説明を生成し、透明性と解釈性を向上させることができます。
私たちの実験は、COTの微調整が両方のタスクで高い精度を達成し、LLMの識別と人間と分類のパフォーマンスが強いことを示しています。
また、COT推論プロセスがモデルの有効性と解釈可能性に大きく貢献していることも示します。

要約(オリジナル)

In recent years, the detection of AI-generated text has become a critical area of research due to concerns about academic integrity, misinformation, and ethical AI deployment. This paper presents COT Fine-tuned, a novel framework for detecting AI-generated text and identifying the specific language model. responsible for generating the text. We propose a dual-task approach, where Task A involves classifying text as AI-generated or human-written, and Task B identifies the specific LLM behind the text. The key innovation of our method lies in the use of Chain-of-Thought reasoning, which enables the model to generate explanations for its predictions, enhancing transparency and interpretability. Our experiments demonstrate that COT Fine-tuned achieves high accuracy in both tasks, with strong performance in LLM identification and human-AI classification. We also show that the CoT reasoning process contributes significantly to the models effectiveness and interpretability.

arxiv情報

著者 Shifali Agrahari,Sanasam Ranbir Singh
発行日 2025-04-23 17:39:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text はコメントを受け付けていません