Looking beyond the next token

投稿日: 2025年4月16日 作成者: jarxiv

要約

因果言語モデルトレーニングの構造は、各トークンを前のコンテキストから正確に予測できると想定しています。
これは、人間の自然な執筆と推論プロセスとは対照的であり、通常、正確な議論やフレーズの前に目標が知られています。
このミスマッチは文献でよく研究されていますが、この不一致に対処するには建築的変化が必要であるという作業の仮定があります。
トレーニングデータシーケンスの再配置と処理により、モデルは真のデータ生成プロセスをより正確に模倣できるようになり、アーキテクチャまたはトレーニングインフラストラクチャに他の変更を必要としないと主張します。
この手法、Trelawney、およびそれから導き出された推論アルゴリズムにより、計画、アルゴリズムの推論、ストーリー生成タスクにまたがるいくつかの重要なベンチマークのパフォーマンスを改善できることを実証します。
最後に、当社の方法は、自然に追加費用なしで長期目標の生成を可能にします。
モデルの目標生成機能を使用することで、計画と推論がさらに改善される方法を調査します。
さらに、Trelawneyは、現在の言語モデリングのパラダイムを超えて新しい機能への扉を開く可能性があると考えています。

要約(オリジナル)

The structure of causal language model training assumes that each token can be accurately predicted from the previous context. This contrasts with humans’ natural writing and reasoning process, where goals are typically known before the exact argument or phrasings. While this mismatch has been well studied in the literature, the working assumption has been that architectural changes are needed to address this mismatch. We argue that rearranging and processing the training data sequences can allow models to more accurately imitate the true data-generating process, and does not require any other changes to the architecture or training infrastructure. We demonstrate that this technique, Trelawney, and the inference algorithms derived from it allow us to improve performance on several key benchmarks that span planning, algorithmic reasoning, and story generation tasks. Finally, our method naturally enables the generation of long-term goals at no additional cost. We investigate how using the model’s goal-generation capability can further improve planning and reasoning. Additionally, we believe Trelawney could potentially open doors to new capabilities beyond the current language modeling paradigm.

arxiv情報

著者 Abitha Thankaraj,Yiding Jiang,J. Zico Kolter,Yonatan Bisk
発行日 2025-04-15 16:09:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Looking beyond the next token はコメントを受け付けていません

‘A Good Bot Always Knows Its Limitations’: Assessing Autonomous System Decision-making Competencies through Factorized Machine Self-confidence

投稿日: 2025年4月16日 作成者: jarxiv

要約

インテリジェントマシンがタスクを完了するための能力をどのように評価できますか？
この質問は、不確実性の下でアルゴリズム的に決定を下す自律システムに焦点を当てています。
私たちは、機械の自信 – 世界の状態、それ自体、およびタスクを推論して実行する能力に関するシステム知識の自己評価に基づくメタリレイニングの形態は、そのようなエージェントの多くの計算可能で有用なコンピテンシー指標につながると主張します。
このペーパーでは、これまでのところ、この概念については、アルゴリズムの意思決定の能力を促進するいくつかの主要な要因を総合的に考慮しているこの概念について、この概念を示しています。
FAMSECでは、Markov Decision Process Solversおよび関連するアプローチに組み込まれた「問題解決統計」を介して自信指標が導き出されます。
これらの統計は、特定の結果と評価者によって指定された関連する能力基準に関連して、確率的超過マージンを評価することから得られます。
設計され、評価されると、統計は自律剤に簡単に組み込まれ、能力の指標として機能します。
マルコフ決定プロセスエージェントの詳細な説明と例を含め、メタ効率の機能、行動シミュレーション、およびサロゲート予測モデルの新しい使用を通じて、さまざまなタスクコンテキストに結果の評価とソルバーの品質要因がどのように見られるかを示します。
数値評価は、FAMSECインジケーターが必要に応じて実行されることを実証するために実行されます（この論文の範囲を超えた人間の被験者研究への参照が提供されます）。

要約(オリジナル)

How can intelligent machines assess their competency to complete a task? This question has come into focus for autonomous systems that algorithmically make decisions under uncertainty. We argue that machine self-confidence — a form of meta-reasoning based on self-assessments of system knowledge about the state of the world, itself, and ability to reason about and execute tasks — leads to many computable and useful competency indicators for such agents. This paper presents our body of work, so far, on this concept in the form of the Factorized Machine Self-confidence (FaMSeC) framework, which holistically considers several major factors driving competency in algorithmic decision-making: outcome assessment, solver quality, model quality, alignment quality, and past experience. In FaMSeC, self-confidence indicators are derived via ‘problem-solving statistics’ embedded in Markov decision process solvers and related approaches. These statistics come from evaluating probabilistic exceedance margins in relation to certain outcomes and associated competency standards specified by an evaluator. Once designed, and evaluated, the statistics can be easily incorporated into autonomous agents and serve as indicators of competency. We include detailed descriptions and examples for Markov decision process agents, and show how outcome assessment and solver quality factors can be found for a range of tasking contexts through novel use of meta-utility functions, behavior simulations, and surrogate prediction models. Numerical evaluations are performed to demonstrate that FaMSeC indicators perform as desired (references to human subject studies beyond the scope of this paper are provided).

arxiv情報

著者 Brett W. Israelsen,Nisar R. Ahmed,Matthew Aitken,Eric W. Frew,Dale A. Lawrence,Brian M. Argrow
発行日 2025-04-15 16:11:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.HC, cs.LG, cs.RO | ‘A Good Bot Always Knows Its Limitations’: Assessing Autonomous System Decision-making Competencies through Factorized Machine Self-confidence はコメントを受け付けていません

Transformer-Based Model for Cold Start Mitigation in FaaS Architecture

投稿日: 2025年4月16日 作成者: jarxiv

要約

サーバーレスアーキテクチャ、特にサービス（FAAS）モデルとしての機能は、リソース管理を簡素化し、アプリケーションの展開の俊敏性を強化する能力により、最新のクラウドコンピューティングの基礎となっています。
ただし、重要な課題は残っています。コールドスタートの問題です。
この現象は、アイドル状態のFAAS関数が呼び出されたときに発生し、完全な初期化プロセスが必要であり、レイテンシを増加させ、ユーザーエクスペリエンスを低下させます。
コールドスタート緩和のための既存のソリューションは、呼び出しパターンの一般化と実装の複雑さの点で制限されています。
この研究では、トランスモデルを活用してFAASアーキテクチャでのコールドスタートの影響を軽減する革新的なアプローチを提案します。
当社のソリューションは、機能の初期化の遅延の正確なモデリングとサーバーレスシステムのパフォーマンスを最適化することに優れています。
Azureが提供する公開データセットを使用した実験的評価は、寒冷開始時間の大幅な減少を示しており、従来の方法と比較して最大79％に達します。

要約(オリジナル)

Serverless architectures, particularly the Function as a Service (FaaS) model, have become a cornerstone of modern cloud computing due to their ability to simplify resource management and enhance application deployment agility. However, a significant challenge remains: the cold start problem. This phenomenon occurs when an idle FaaS function is invoked, requiring a full initialization process, which increases latency and degrades user experience. Existing solutions for cold start mitigation are limited in terms of invocation pattern generalization and implementation complexity. In this study, we propose an innovative approach leveraging Transformer models to mitigate the impact of cold starts in FaaS architectures. Our solution excels in accurately modeling function initialization delays and optimizing serverless system performance. Experimental evaluation using a public dataset provided by Azure demonstrates a significant reduction in cold start times, reaching up to 79\% compared to conventional methods.

arxiv情報

著者 Alexandre Savi Fayam Mbala Mouen,Jerry Lacmou Zeutouo,Vianney Kengne Tchendji
発行日 2025-04-15 16:12:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DC | Transformer-Based Model for Cold Start Mitigation in FaaS Architecture はコメントを受け付けていません

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

投稿日: 2025年4月16日 作成者: jarxiv

要約

強化学習（RL）は、複雑な推論タスクに関する大規模な言語モデル（LLMS）を微調整するための一般的なアプローチとなっています。
最近の方法の中で、GRPOはDeepSeek-R1などのトレーニングモデルでの経験的成功を際立たせていますが、その有効性のソースは依然としてよく理解されていません。
この作業では、補強様アルゴリズムの観点からGRPOを再訪し、そのコアコンポーネントを分析します。
驚くべきことに、私たちは、積極的に報われるサンプルのみで訓練する単純な拒絶サンプリングベースラインであるRaftが、GRPOやPPOよりも競争力のあるパフォーマンスをもたらすことがわかります。
私たちのアブレーション研究は、GRPOの主な利点が、報酬の正規化からではなく、完全に間違った応答を伴うプロンプトを破棄することから生じることを明らかにしています。
この洞察に動機付けられて、私たちは、完全に間違ったサンプルと完全に正しいサンプルの両方をろ過するポリシー勾配の最小限の拡張であるRenforce-Rejを提案します。
Renforce-REJはKLの効率と安定性を改善し、より複雑なRLアルゴリズムの軽量でありながら効果的な代替品として機能します。
RAFTを堅牢で解釈可能なベースラインとして提唱し、将来の進歩は、無差別に頼るのではなく、負のサンプルを組み込むためのより原則的なデザインに焦点を当てるべきであることを示唆しています。
私たちの調査結果は、報酬ベースのLLMポストトレーニングにおける将来の作業のガイダンスを提供します。

要約(オリジナル)

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO’s main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.

arxiv情報

著者 Wei Xiong,Jiarui Yao,Yuhui Xu,Bo Pang,Lei Wang,Doyen Sahoo,Junnan Li,Nan Jiang,Tong Zhang,Caiming Xiong,Hanze Dong
発行日 2025-04-15 16:15:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, stat.ML | A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce はコメントを受け付けていません

Interpretable Hybrid-Rule Temporal Point Processes

投稿日: 2025年4月16日 作成者: jarxiv

要約

時間ポイントプロセス（TPP）は、疾患発症予測、進行分析、臨床的意思決定サポートなど、さまざまな医療ドメインのイベントシーケンスのモデリングに広く使用されています。
TPPは時間的なダイナミクスを効果的にキャプチャしますが、解釈可能性の欠如は依然として重要な課題です。
最近の進歩により、解釈可能なTPPが導入されています。
ただし、これらの方法は数値的特徴を組み込むことができず、それにより正確な予測を生成する能力が制限されます。
この問題に対処するために、ハイブリッドルールの時間ポイントプロセス（HRTPP）を提案します。これは、時間モデリングにおける時間的論理ルールを数値的特徴と数値的特徴と予測精度の両方を改善する新しいフレームワークです。
HRTPPは、3つの重要なコンポーネントで構成されています。本質的なイベントの可能性の基本強度、構造化された時間依存性のルールベースの強度、動的確率変調の数値的特徴強度です。
有効なルールを効果的に発見するために、ベイジアンの最適化を備えた2フェーズルールマイニング戦略を導入します。
私たちの方法を評価するために、ルールの妥当性、モデルフィッティング、および時間的予測精度を組み込んだマルチ基準評価フレームワークを確立します。
実際の医療データセットの実験結果は、HRTPPが予測的パフォーマンスと臨床的解釈可能性の観点から、最先端の解釈可能なTPPを上回ることを示しています。
ケーススタディでは、HRTPPによって抽出されたルールが疾患の進行を説明し、医療診断に貴重な貢献を提供します。

要約(オリジナル)

Temporal Point Processes (TPPs) are widely used for modeling event sequences in various medical domains, such as disease onset prediction, progression analysis, and clinical decision support. Although TPPs effectively capture temporal dynamics, their lack of interpretability remains a critical challenge. Recent advancements have introduced interpretable TPPs. However, these methods fail to incorporate numerical features, thereby limiting their ability to generate precise predictions. To address this issue, we propose Hybrid-Rule Temporal Point Processes (HRTPP), a novel framework that integrates temporal logic rules with numerical features, improving both interpretability and predictive accuracy in event modeling. HRTPP comprises three key components: basic intensity for intrinsic event likelihood, rule-based intensity for structured temporal dependencies, and numerical feature intensity for dynamic probability modulation. To effectively discover valid rules, we introduce a two-phase rule mining strategy with Bayesian optimization. To evaluate our method, we establish a multi-criteria assessment framework, incorporating rule validity, model fitting, and temporal predictive accuracy. Experimental results on real-world medical datasets demonstrate that HRTPP outperforms state-of-the-art interpretable TPPs in terms of predictive performance and clinical interpretability. In case studies, the rules extracted by HRTPP explain the disease progression, offering valuable contributions to medical diagnosis.

arxiv情報

著者 Yunyang Cao,Juekai Lin,Hongye Wang,Wenhao Li,Bo Jin
発行日 2025-04-15 16:15:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | Interpretable Hybrid-Rule Temporal Point Processes はコメントを受け付けていません

Kimina-Prover Preview: Towards Large Formal Reasoning Models with Reinforcement Learning

投稿日: 2025年4月16日 作成者: jarxiv

要約

このプレビューリリースで紹介されているように、正式な定理を証明するための新しい推論主導型の探索パラダイムを開拓する大規模な言語モデルであるKimina-Prover Previewを紹介します。
QWEN2.5-72Bの大規模な強化学習パイプラインで訓練されたKimina-Proverは、構造化された推論パターンを使用することにより、リーン4プルーフ生成の強力なパフォーマンスを示します。
このアプローチにより、モデルは、無駄のない、繰り返し生成および洗練された証明ステップで人間の問題解決戦略をエミュレートすることができます。
Kimina-Proverは、Minif2Fベンチマークで新しい最先端のベンチマークを設定し、Pass@8192で80.7％に達しました。
ベンチマークのパフォーマンスの改善を超えて、私たちの作業はいくつかの重要な洞察をもたらします。（1）キミーナプロバーが高いサンプル効率を示し、最小限のサンプリング（パス@1）でも強力な結果をもたらし、そのユニークな推論パターンとRLトレーニングに起因する計算予算で効果的にスケーリングします。
（2）モデルサイズの明確なパフォーマンススケーリングを示します。これは、正式な数学の神経定理プローバーには以前は観察されていなかった傾向です。
（3）従来の検索アルゴリズムとは異なる学習された推論スタイルは、正式な検証と非公式の数学的直観と​​のギャップを埋める可能性を示しています。
キミーナプロバーの1.5bおよび7bパラメーターを備えたオープンソース蒸留バージョン

要約(オリジナル)

We introduce Kimina-Prover Preview, a large language model that pioneers a novel reasoning-driven exploration paradigm for formal theorem proving, as showcased in this preview release. Trained with a large-scale reinforcement learning pipeline from Qwen2.5-72B, Kimina-Prover demonstrates strong performance in Lean 4 proof generation by employing a structured reasoning pattern we term \textit{formal reasoning pattern}. This approach allows the model to emulate human problem-solving strategies in Lean, iteratively generating and refining proof steps. Kimina-Prover sets a new state-of-the-art on the miniF2F benchmark, reaching 80.7% with pass@8192. Beyond improved benchmark performance, our work yields several key insights: (1) Kimina-Prover exhibits high sample efficiency, delivering strong results even with minimal sampling (pass@1) and scaling effectively with computational budget, stemming from its unique reasoning pattern and RL training; (2) we demonstrate clear performance scaling with model size, a trend previously unobserved for neural theorem provers in formal mathematics; (3) the learned reasoning style, distinct from traditional search algorithms, shows potential to bridge the gap between formal verification and informal mathematical intuition. We open source distilled versions with 1.5B and 7B parameters of Kimina-Prover

arxiv情報

著者 Haiming Wang,Mert Unsal,Xiaohan Lin,Mantas Baksys,Junqi Liu,Marco Dos Santos,Flood Sung,Marina Vinyes,Zhenzhe Ying,Zekai Zhu,Jianqiao Lu,Hugues de Saxcé,Bolton Bailey,Chendong Song,Chenjun Xiao,Dehao Zhang,Ebony Zhang,Frederick Pu,Han Zhu,Jiawei Liu,Jonas Bayer,Julien Michel,Longhui Yu,Léo Dreyfus-Schmidt,Lewis Tunstall,Luigi Pagani,Moreira Machado,Pauline Bourigault,Ran Wang,Stanislas Polu,Thibaut Barroyer,Wen-Ding Li,Yazhe Niu,Yann Fleureau,Yangyang Hu,Zhouliang Yu,Zihan Wang,Zhilin Yang,Zhengying Liu,Jia Li
発行日 2025-04-15 16:23:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Kimina-Prover Preview: Towards Large Formal Reasoning Models with Reinforcement Learning はコメントを受け付けていません

Neural Networks for on-chip Model Predictive Control: a Method to Build Optimized Training Datasets and its application to Type-1 Diabetes

投稿日: 2025年4月16日 作成者: jarxiv

要約

モデル予測制御（MPC）アルゴリズムとして動作するニューラルネットワーク（NNS）のトレーニングは、制約された埋め込みデバイスにそれらを実装する効果的な方法です。
入力がシステムの状態を表す大量の入出力データを収集し、出力がMPCで生成された制御アクションであるため、NNSは計算コストの一部でMPCの動作を複製するようにトレーニングできます。
ただし、トレーニングデータの構成は最終的なNNの精度に大きく影響しますが、体系的に最適化する方法は未定のままです。
この論文では、理想的なトレーニングセットとして最適にサンプリングされたデータセット（OSD）の概念を紹介し、それらを生成するための効率的なアルゴリズムを提示します。
OSDは、（i）既存のMPC情報を特定の数値解像度まで保存するすべての利用可能なデータのパラメーター化されたサブセットであり、（ii）重複またはほぼ重複状態を回避し、（iii）飽和または完全になります。
1型糖尿病での自動インスリン送達のためにバージニア大学のMPCアルゴリズムを再現するためにNNSをトレーニングすることにより、OSDの有効性を実証し、最終精度が4倍改善されます。
特に、2つのOSD訓練を受けたNNSは、直接的なヒトインスリン投与のための最初のNNベースのコントロールアルゴリズムとして、臨床検査のための調節クリアランスを受けました。
この方法論は、リソースに制約されている埋め込みプラットフォームに高度な最適化を実装するための新しい経路を開き、複雑なアルゴリズムがどのように展開されるかに革命をもたらす可能性があります。

要約(オリジナル)

Training Neural Networks (NNs) to behave as Model Predictive Control (MPC) algorithms is an effective way to implement them in constrained embedded devices. By collecting large amounts of input-output data, where inputs represent system states and outputs are MPC-generated control actions, NNs can be trained to replicate MPC behavior at a fraction of the computational cost. However, although the composition of the training data critically influences the final NN accuracy, methods for systematically optimizing it remain underexplored. In this paper, we introduce the concept of Optimally-Sampled Datasets (OSDs) as ideal training sets and present an efficient algorithm for generating them. An OSD is a parametrized subset of all the available data that (i) preserves existing MPC information up to a certain numerical resolution, (ii) avoids duplicate or near-duplicate states, and (iii) becomes saturated or complete. We demonstrate the effectiveness of OSDs by training NNs to replicate the University of Virginia’s MPC algorithm for automated insulin delivery in Type-1 Diabetes, achieving a four-fold improvement in final accuracy. Notably, two OSD-trained NNs received regulatory clearance for clinical testing as the first NN-based control algorithm for direct human insulin dosing. This methodology opens new pathways for implementing advanced optimizations on resource-constrained embedded platforms, potentially revolutionizing how complex algorithms are deployed.

arxiv情報

著者 Alberto Castillo,Elliot Pryor,Anas El Fathi,Boris Kovatchev,Marc Breton
発行日 2025-04-15 16:25:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SY, eess.SY | Neural Networks for on-chip Model Predictive Control: a Method to Build Optimized Training Datasets and its application to Type-1 Diabetes はコメントを受け付けていません

DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks

投稿日: 2025年4月16日 作成者: jarxiv

要約

LLMが統合されたアプリケーションとエージェントは、迅速な注射攻撃に対して脆弱であり、攻撃者が入力にプロンプ​​トを注入して、攻撃者が決定する出力を誘導します。
検出方法は、指定された入力が注入プロンプトによって汚染されているかどうかを判断することを目的としています。
ただし、既存の検出方法は、適応的な攻撃は言うまでもなく、最先端の攻撃に対する有効性が限られています。
この作業では、迅速な噴射攻撃を検出するゲーム理論的方法であるDatasentinelを提案します。
具体的には、DatasentinelはLLMを微調整して、検出を回避するために戦略的に適合した注入プロンプトで汚染された入力を検出します。
これを、LLMを微調整して強力な適応攻撃を検出する目的で、Minimax最適化問題として定式化します。
さらに、内側の最大と外側の問題を交互に行うことにより、ミニマックス最適化問題を解決するための勾配ベースの方法を提案します。
複数のベンチマークデータセットとLLMでの評価結果は、Datasentinelが既存および適応迅速な噴射攻撃の両方を効果的に検出することを示しています。

要約(オリジナル)

LLM-integrated applications and agents are vulnerable to prompt injection attacks, where an attacker injects prompts into their inputs to induce attacker-desired outputs. A detection method aims to determine whether a given input is contaminated by an injected prompt. However, existing detection methods have limited effectiveness against state-of-the-art attacks, let alone adaptive ones. In this work, we propose DataSentinel, a game-theoretic method to detect prompt injection attacks. Specifically, DataSentinel fine-tunes an LLM to detect inputs contaminated with injected prompts that are strategically adapted to evade detection. We formulate this as a minimax optimization problem, with the objective of fine-tuning the LLM to detect strong adaptive attacks. Furthermore, we propose a gradient-based method to solve the minimax optimization problem by alternating between the inner max and outer min problems. Our evaluation results on multiple benchmark datasets and LLMs show that DataSentinel effectively detects both existing and adaptive prompt injection attacks.

arxiv情報

著者 Yupei Liu,Yuqi Jia,Jinyuan Jia,Dawn Song,Neil Zhenqiang Gong
発行日 2025-04-15 16:26:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks はコメントを受け付けていません

Teaching Large Language Models to Reason through Learning and Forgetting

投稿日: 2025年4月16日 作成者: jarxiv

要約

大きな言語モデルでの推論時間検索を活用することは、複雑な数学的および推論的な問題を解決する訓練されたモデルの能力をさらに強化するのに効果的であることが証明されています。
ただし、このアプローチは、モデルが複数の候補ソリューションを生成および評価して実行可能な推論パスを特定する必要があるため、計算コストと推論時間を大幅に増加させます。
これに対処するために、多様な検索方法に由来する（学習）と失敗した推論パス（忘却）の両方を使用して、検索機能をモデルに直接統合する効果的なアプローチを提案します。
これらのデータでモデルを微調整することは簡単に思えるかもしれませんが、重要な問題を特定します。モデルの検索機能は、微調整が素朴に実行されると急速に劣化する傾向があります。
この劣化は、学習率が小さいことにより、実質的に緩和できることを示しています。
挑戦的なゲームオブ24およびカウントダウン数学の推論ベンチマークに関する広範な実験は、このアプローチが標準の微調整と推論時間検索ベースラインの両方を上回るだけでなく、推論時間を180 $ \ Times $を大幅に削減することを示しています。

要約(オリジナル)

Leveraging inference-time search in large language models has proven effective in further enhancing a trained model’s capability to solve complex mathematical and reasoning problems. However, this approach significantly increases computational costs and inference time, as the model must generate and evaluate multiple candidate solutions to identify a viable reasoning path. To address this, we propose an effective approach that integrates search capabilities directly into the model by fine-tuning it using both successful (learning) and failed reasoning paths (forgetting) derived from diverse search methods. While fine-tuning the model with these data might seem straightforward, we identify a critical issue: the model’s search capability tends to degrade rapidly if fine-tuning is performed naively. We show that this degradation can be substantially mitigated by employing a smaller learning rate. Extensive experiments on the challenging Game-of-24 and Countdown mathematical reasoning benchmarks show that our approach not only outperforms both standard fine-tuning and inference-time search baselines but also significantly reduces inference time by 180$\times$.

arxiv情報

著者 Tianwei Ni,Allen Nie,Sapana Chaudhary,Yao Liu,Huzefa Rangwala,Rasool Fakoor
発行日 2025-04-15 16:30:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Teaching Large Language Models to Reason through Learning and Forgetting はコメントを受け付けていません

OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution

投稿日: 2025年4月16日 作成者: jarxiv

要約

オープンな言語モデル（OLLM）は、生成AIアプリケーションでますます活用されており、出力を検出するための新しい課題を提起しています。
OLLMSに基づいた新しいベンチマークであるOpenturingBenchを提案します。これは、チューリングテストおよび著者の帰属問題で機械で生成されたテキスト検出器を訓練および評価するように設計されています。
OpenturingBenchは、OLLMSの代表セットに焦点を当てており、人間/機械操作のテキスト、ドメイン外のテキスト、以前に見えなかったモデルのテキストなど、多くの挑戦的な評価タスクを備えています。
また、OLLMベースのマシンで生成されたテキストを検出および属性するための対照的な学習フレームワークであるOTBDETECTORも提供します。
結果は、検出器がさまざまなタスクにわたって顕著な機能を達成し、ほとんどの既存の検出器を上回る驚くべき機能を達成するため、結果の関連性とさまざまな程度の難易度を強調しています。
リソースは、https://huggingface.co/datasets/mlnteam-unical/openturingbenchでフェイスリポジトリを抱き締めるopenturingbenchで入手できます

要約(オリジナル)

Open Large Language Models (OLLMs) are increasingly leveraged in generative AI applications, posing new challenges for detecting their outputs. We propose OpenTuringBench, a new benchmark based on OLLMs, designed to train and evaluate machine-generated text detectors on the Turing Test and Authorship Attribution problems. OpenTuringBench focuses on a representative set of OLLMs, and features a number of challenging evaluation tasks, including human/machine-manipulated texts, out-of-domain texts, and texts from previously unseen models. We also provide OTBDetector, a contrastive learning framework to detect and attribute OLLM-based machine-generated texts. Results highlight the relevance and varying degrees of difficulty of the OpenTuringBench tasks, with our detector achieving remarkable capabilities across the various tasks and outperforming most existing detectors. Resources are available on the OpenTuringBench Hugging Face repository at https://huggingface.co/datasets/MLNTeam-Unical/OpenTuringBench

arxiv情報

著者 Lucio La Cava,Andrea Tagarelli
発行日 2025-04-15 16:36:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CY, cs.HC, physics.soc-ph | OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution はコメントを受け付けていません