Towards Better Instruction Following Retrieval Models

投稿日: 2025年5月28日 作成者: jarxiv

要約

標準<クエリ、パッセージ>ペアでのみ訓練された最新の情報検索（IR）モデルは、明示的なユーザーの指示に効果的に解釈して従うために苦労しています。
INF-IRを紹介します。これは、命令に従うIRで検索モデルを強化するために調整された大規模で高品質のトレーニングコーパスを紹介します。
INF-IRは、従来のトレーニングペアを38,000を超える表現力豊かな<命令、クエリ、パッセージ>トリプレットに拡大します。
特に、肯定的なトリプレットごとに、指示とクエリの両方を中毒することにより、2つの追加のハードネガティブ例を生成し、次に高度な推論モデル（O3-MINI）によって厳密に検証され、指導的誤りを維持しながら意味的に妥当性を確保します。
デコーダーのみの言語モデルの計算集中的な再ランキングタスクを主にサポートする既存のコーパスとは異なり、INF-IRの非常に対照的なポジティブネガティブトリプレットは、より小さなエンコーダのみのモデルの効率的な表現学習をさらに有効にし、直接埋め込みベースの検索を促進します。
このコーパスを使用して、対照的な学習と命令 – クエリの注意メカニズムを通じて最適化された命令を意識した埋め込みモデルであるInf-membedをトレーニングして、検索結果をユーザーの意図と正確に整列させます。
5つの命令ベースの検索ベンチマークにわたる広範な実験は、INF包摂がP-MRRで競争力のあるベースラインを8.1％上回り、命令に従う能力を測定することを示しています。

要約(オリジナル)

Modern information retrieval (IR) models, trained exclusively on standard pairs, struggle to effectively interpret and follow explicit user instructions. We introduce InF-IR, a large-scale, high-quality training corpus tailored for enhancing retrieval models in Instruction-Following IR. InF-IR expands traditional training pairs into over 38,000 expressive triplets as positive samples. In particular, for each positive triplet, we generate two additional hard negative examples by poisoning both instructions and queries, then rigorously validated by an advanced reasoning model (o3-mini) to ensure semantic plausibility while maintaining instructional incorrectness. Unlike existing corpora that primarily support computationally intensive reranking tasks for decoder-only language models, the highly contrastive positive-negative triplets in InF-IR further enable efficient representation learning for smaller encoder-only models, facilitating direct embedding-based retrieval. Using this corpus, we train InF-Embed, an instruction-aware Embedding model optimized through contrastive learning and instruction-query attention mechanisms to align retrieval outcomes precisely with user intents. Extensive experiments across five instruction-based retrieval benchmarks demonstrate that InF-Embed significantly surpasses competitive baselines by 8.1% in p-MRR, measuring the instruction-following capabilities.

arxiv情報

著者 Yuchen Zhuang,Aaron Trinh,Rushi Qiang,Haotian Sun,Chao Zhang,Hanjun Dai,Bo Dai
発行日 2025-05-27 17:14:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | Towards Better Instruction Following Retrieval Models はコメントを受け付けていません

ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition

投稿日: 2025年5月28日 作成者: jarxiv

要約

地域の方言の名前付きエンティティ認識（NER）は、特にバングラのような低リソース言語では、自然言語加工（NLP）の重要でありながら未使用の領域です。
標準的なバングラのNERシステムは進歩していますが、既存のリソースやモデルは、Barishal、Chittagong、Mymensingh、Noakhali、Sylhetなどの地域の方言の課題に特に対処していません。
このギャップを埋めるために、バングラ地域の方言でNERの最初のベンチマークデータセットであるAncholik-Nerを紹介します。
データセットは、公開されているリソースから供給され、手動翻訳が補完され、方言間で指定されたエンティティの整合性が確保されました。
このデータセットで、バングラバート、バングラバートベース、バートベース多言語ケースの3つの変圧器ベースのモデルを評価します。
私たちの調査結果は、Bert Base Multiingual Casedが地域全体で指名されたエンティティを認識するのに最適であり、MyMensinghでF1スコアが82.611％で観察されることを示しています。
全体的なパフォーマンスが強いにもかかわらず、チッタゴンのような地域では課題が残っており、モデルはより低い精度とリコールを示しています。
バングラ地域の方言の以前のNERシステムは存在しないため、私たちの仕事はこのギャップに対処するための基本的なステップを表しています。
将来の作業は、パフォーマンスの低い地域のモデルパフォーマンスの向上と、より多くの方言を含むようにデータセットを拡大し、方言を認識したNERシステムの開発を強化することに焦点を当てます。

要約(オリジナル)

Named Entity Recognition (NER) in regional dialects is a critical yet underexplored area in Natural Language Processing (NLP), especially for low-resource languages like Bangla. While NER systems for Standard Bangla have made progress, no existing resources or models specifically address the challenge of regional dialects such as Barishal, Chittagong, Mymensingh, Noakhali, and Sylhet, which exhibit unique linguistic features that existing models fail to handle effectively. To fill this gap, we introduce ANCHOLIK-NER, the first benchmark dataset for NER in Bangla regional dialects, comprising 17,405 sentences distributed across five regions. The dataset was sourced from publicly available resources and supplemented with manual translations, ensuring alignment of named entities across dialects. We evaluate three transformer-based models – Bangla BERT, Bangla BERT Base, and BERT Base Multilingual Cased – on this dataset. Our findings demonstrate that BERT Base Multilingual Cased performs best in recognizing named entities across regions, with significant performance observed in Mymensingh with an F1-score of 82.611%. Despite strong overall performance, challenges remain in region like Chittagong, where the models show lower precision and recall. Since no previous NER systems for Bangla regional dialects exist, our work represents a foundational step in addressing this gap. Future work will focus on improving model performance in underperforming regions and expanding the dataset to include more dialects, enhancing the development of dialect-aware NER systems.

arxiv情報

著者 Bidyarthi Paul,Faika Fairuj Preotee,Shuvashis Sarker,Shamim Rahim Refat,Shifat Islam,Tashreef Muhammad,Mohammad Ashraful Hoque,Shahriar Manzoor
発行日 2025-05-27 17:14:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition はコメントを受け付けていません

Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs

投稿日: 2025年5月28日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、各デコードステップでの語彙上の確率分布から次のトークンをサンプリングすることにより、テキストを生成します。
TOP-P（核サンプリング）などの一般的なサンプリング方法は、特により高い温度での品質と多様性のバランスをとるのに苦労しています。
MIN-Pサンプリングを提案します。これは、上位トークンの確率をスケーリング係数として使用することにより、モデルの信頼性に基づいてサンプリングのしきい値を調整する動的な切り捨て方法です。
GPQA、GSM8K、およびアルパカエバルクリエイティブライティングを含むベンチマークに関する実験は、MIN-Pサンプリングが異なるモデルファミリ（MistralおよびLlama 3）とモデルサイズ（1Bから123Bパラメーター）にわたって生成されたテキストの品質と多様性の両方を改善することを示しています。
人間の評価は、テキストの品質と創造性の両方において、MIN-Pサンプリングの明確な好みをさらに示しています。
MIN-Pサンプリングは、フェイストランスやVLLMなどの抱き合ったハグを含む、一般的なオープンソースLLMフレームワークによって採用されており、テキスト生成の品質の向上に大きな影響を与えています。

要約(オリジナル)

Large Language Models (LLMs) generate text by sampling the next token from a probability distribution over the vocabulary at each decoding step. Popular sampling methods like top-p (nucleus sampling) often struggle to balance quality and diversity, especially at higher temperatures which lead to incoherent or repetitive outputs. We propose min-p sampling, a dynamic truncation method that adjusts the sampling threshold based on the model’s confidence by using the top token’s probability as a scaling factor. Our experiments on benchmarks including GPQA, GSM8K, and AlpacaEval Creative Writing show that min-p sampling improves both the quality and diversity of generated text across different model families (Mistral and Llama 3) and model sizes (1B to 123B parameters), especially at higher temperatures. Human evaluations further show a clear preference for min-p sampling, in both text quality and creativity. Min-p sampling has been adopted by popular open-source LLM frameworks, including Hugging Face Transformers, VLLM, and many others, highlighting its considerable impact on improving text generation quality.

arxiv情報

著者 Minh Nhat Nguyen,Andrew Baker,Clement Neo,Allen Roush,Andreas Kirsch,Ravid Shwartz-Ziv
発行日 2025-05-27 17:15:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs はコメントを受け付けていません

One-shot Entropy Minimization

投稿日: 2025年5月28日 作成者: jarxiv

要約

13,440の大規模な言語モデルをトレーニングし、エントロピーの最小化には、数千のデータを使用して得られたものに匹敵する、または規則ベースの強化学習において慎重に設計された報酬に匹敵する、またはさらに大きいパフォーマンスの改善を実現するために、単一の非標識データと10ステップの最適化が必要であることがわかりました。
この顕著な結果は、大規模な言語モデルのトレーニング後のパラダイムの再考を促す可能性があります。
私たちのコードはhttps://github.com/zitian-gao/one-shot-emで利用可能です。

要約(オリジナル)

We trained 13,440 large language models and found that entropy minimization requires only a single unlabeled data and 10 steps optimization to achieve performance improvements comparable to or even greater than those obtained using thousands of data and carefully designed rewards in rule-based reinforcement learning. This striking result may prompt a rethinking of post-training paradigms for large language models. Our code is avaliable at https://github.com/zitian-gao/one-shot-em.

arxiv情報

著者 Zitian Gao,Lynx Chen,Joey Zhou,Bryan Dai
発行日 2025-05-27 17:18:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | One-shot Entropy Minimization はコメントを受け付けていません

Words Like Knives: Backstory-Personalized Modeling and Detection of Violent Communication

投稿日: 2025年5月28日 作成者: jarxiv

要約

密接な関係にある会話の故障は、個人的な歴史と感情的な文脈によって深く形作られていますが、ほとんどのNLP研究は、紛争検出を一般的なタスクとして扱い、メッセージの知覚に影響を与える関係ダイナミクスを見落としています。
この作業では、非暴力コミュニケーション（NVC）理論を活用して、会話の故障を検出し、関係のバックストーリーが紛争の人間とモデルの認識の両方にどのように影響するかを評価する際にLLMを評価します。
豊かな個人的なバックストーリーを持つ身近な社会的パートナー間の対立を特徴とする現実世界のデータセットの感度と希少性を考えると、私たちは、友人、家族、ロマンチックなパートナーの間の多様な紛争シナリオにまたがるN = 5,772の自然主義的なシミュレートされた対話のデータセットであるPersonAconflicts Corpusに貢献します。
制御された人間の研究を通じて、対話のサブセットに注釈を付け、個々のターンでのコミュニケーションの故障タイプのきめの細かいラベルを取得し、人間と会話の紛争のモデル認識に対するバックストーリーの影響を評価します。
関係のバックストーリーの極性は、社会的パートナーのコミュニケーションの崩壊と印象に対する人間の認識を大幅に変えたが、モデルは検出タスクでそれらのバックストーリーを有意義に活用するのに苦労していることがわかります。
さらに、モデルは、メッセージがリスナーをどのように積極的に感じさせるかを一貫して過大評価していることがわかります。
私たちの調査結果は、LLMが本物のつながりのために人間のコミュニケーションにおいて効果的なメディエーターとして役立つことを可能にする際の関係コンテキストに対するパーソナライズの重要な役割を強調しています。

要約(オリジナル)

Conversational breakdowns in close relationships are deeply shaped by personal histories and emotional context, yet most NLP research treats conflict detection as a general task, overlooking the relational dynamics that influence how messages are perceived. In this work, we leverage nonviolent communication (NVC) theory to evaluate LLMs in detecting conversational breakdowns and assessing how relationship backstory influences both human and model perception of conflicts. Given the sensitivity and scarcity of real-world datasets featuring conflict between familiar social partners with rich personal backstories, we contribute the PersonaConflicts Corpus, a dataset of N=5,772 naturalistic simulated dialogues spanning diverse conflict scenarios between friends, family members, and romantic partners. Through a controlled human study, we annotate a subset of dialogues and obtain fine-grained labels of communication breakdown types on individual turns, and assess the impact of backstory on human and model perception of conflict in conversation. We find that the polarity of relationship backstories significantly shifted human perception of communication breakdowns and impressions of the social partners, yet models struggle to meaningfully leverage those backstories in the detection task. Additionally, we find that models consistently overestimate how positively a message will make a listener feel. Our findings underscore the critical role of personalization to relationship contexts in enabling LLMs to serve as effective mediators in human communication for authentic connection.

arxiv情報

著者 Jocelyn Shen,Akhila Yerukola,Xuhui Zhou,Cynthia Breazeal,Maarten Sap,Hae Won Park
発行日 2025-05-27 17:23:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Words Like Knives: Backstory-Personalized Modeling and Detection of Violent Communication はコメントを受け付けていません

Thinking beyond the anthropomorphic paradigm benefits LLM research

投稿日: 2025年5月28日 作成者: jarxiv

要約

擬人化、または人間の特性のテクノロジーへの帰属は、高度な技術的専門知識を持っている人でも発生する自動で無意識の反応です。
このポジションペーパーでは、数十万の研究記事を分析して、大規模な言語モデル（LLM）に関する研究における擬人化用語の有病率と成長の実証的証拠を提示します。
私たちは、この用語に反映されたより深い仮定に挑戦すると主張します – それはしばしば有用ですが、LLMの開発を不注意に制約し、それらを超えてLLMSを理解し改善するための新しい経路を開きます。
具体的には、LLM開発ライフサイクル全体で研究を形成する5つの擬人化された仮定を特定して検討します。
各仮定（例えば、LLMが推論に自然言語を使用する必要がある、またはそれらがもともと人間を目的としたベンチマークで評価する必要があるということ）について、私たちはLLMの研究開発に有望な方向性を提供しているが、実証されていない状態でありながら、経験的で非孤立的な代替案を示します。

要約(オリジナル)

Anthropomorphism, or the attribution of human traits to technology, is an automatic and unconscious response that occurs even in those with advanced technical expertise. In this position paper, we analyze hundreds of thousands of research articles to present empirical evidence of the prevalence and growth of anthropomorphic terminology in research on large language models (LLMs). We argue for challenging the deeper assumptions reflected in this terminology — which, though often useful, may inadvertently constrain LLM development — and broadening beyond them to open new pathways for understanding and improving LLMs. Specifically, we identify and examine five anthropomorphic assumptions that shape research across the LLM development lifecycle. For each assumption (e.g., that LLMs must use natural language for reasoning, or that they should be evaluated on benchmarks originally meant for humans), we demonstrate empirical, non-anthropomorphic alternatives that remain under-explored yet offer promising directions for LLM research and development.

arxiv情報

著者 Lujain Ibrahim,Myra Cheng
発行日 2025-05-27 17:24:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Thinking beyond the anthropomorphic paradigm benefits LLM research はコメントを受け付けていません

Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance

投稿日: 2025年5月28日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、入力言語や出力言語とは異なる場合がある潜在言語と呼ばれる、熟練した内部言語を一貫して使用して情報を処理することが知られています。
ただし、潜在言語と入力言語と出力言語の矛盾がダウンストリームタスクのパフォーマンスにどのように影響するかは、ほとんど説明されていません。
多くの研究がLLMSの潜在言語を研究していますが、タスクのパフォーマンスに影響を与えることにおけるその重要性に対処する人はほとんどいません。
私たちの研究では、潜在的な言語での考えることは一貫して下流のタスクのパフォーマンスを向上させると仮定します。
これを検証するために、私たちの作業は、複数のダウンストリームタスクにわたって入力プロンプト言語を変化させ、潜在言語の一貫性とタスクパフォ​​ーマンスの相関関係を分析します。
潜在的な言語の選択に影響される翻訳やジオカルチャーなどの多様なドメインからの質問で構成されるデータセットを作成します。
言語の選択に敏感な翻訳および地理文化タスクの複数のLLMにわたる実験結果は、最適な下流タスクパフォ​​ーマンスに潜在言語の一貫性を維持することが必ずしも必要ではないことを示しています。
これは、これらのモデルが最終レイヤーの近くに内部表現をターゲット言語に合わせて適応させ、全体的なパフォーマンスに対する一貫性の影響を減らすためです。

要約(オリジナル)

Large Language Models (LLMs) are known to process information using a proficient internal language consistently, referred to as latent language, which may differ from the input or output languages. However, how the discrepancy between the latent language and the input and output language affects downstream task performance remains largely unexplored. While many studies research the latent language of LLMs, few address its importance in influencing task performance. In our study, we hypothesize that thinking in latent language consistently enhances downstream task performance. To validate this, our work varies the input prompt languages across multiple downstream tasks and analyzes the correlation between consistency in latent language and task performance. We create datasets consisting of questions from diverse domains such as translation and geo-culture, which are influenced by the choice of latent language. Experimental results across multiple LLMs on translation and geo-culture tasks, which are sensitive to the choice of language, indicate that maintaining consistency in latent language is not always necessary for optimal downstream task performance. This is because these models adapt their internal representations near the final layers to match the target language, reducing the impact of consistency on overall performance.

arxiv情報

著者 Shintaro Ozaki,Tatsuya Hiraoka,Hiroto Otake,Hiroki Ouchi,Masaru Isonuma,Benjamin Heinzerling,Kentaro Inui,Taro Watanabe,Yusuke Miyao,Yohei Oseki,Yu Takagi
発行日 2025-05-27 17:30:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Do LLMs Need to Think in One Language? Correlation between Latent Language and Task Performance はコメントを受け付けていません

Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions

投稿日: 2025年5月28日 作成者: jarxiv

要約

メモリは、大規模な言語モデル（LLMS）ベースのエージェントを支えるAIシステムの基本的なコンポーネントです。
以前の調査では、LLMSを使用したメモリアプリケーション（たとえば、会話エージェントのパーソナライズされたメモリを有効にする）に焦点を当てていますが、多くの場合、メモリダイナミクスの根底にある原子操作を見落としています。
この調査では、まずメモリ表現をパラメトリックおよびコンテキスト形式に分類し、次に6つの基本的なメモリ操作を導入します：統合、更新、索引付け、忘却、検索、および圧縮。
これらの操作は、長期的な長期、パラメトリック変更、およびマルチソースメモリにわたって、最も関連性の高い研究トピックにマッピングされます。
原子運用と表現タイプのレンズを通じてメモリシステムを再構成することにより、この調査は、AIのメモリに関連する研究、ベンチマークデータセット、およびLLMSベースのエージェントの機能的相互作用を明確にしながら、将来の研究のための有望な方向性の概要を明確にするための構造化された動的な視点を提供します{論文リスト、データセット、メソッド、およびツールを利用可能にします。
\ href {https://github.com/elvin-yming-du/survey_memory_in_ai} {https://github.com/elvin-yiming-du/survey \_memory\_in\_ai}。}。

要約(オリジナル)

Memory is a fundamental component of AI systems, underpinning large language models (LLMs)-based agents. While prior surveys have focused on memory applications with LLMs (e.g., enabling personalized memory in conversational agents), they often overlook the atomic operations that underlie memory dynamics. In this survey, we first categorize memory representations into parametric and contextual forms, and then introduce six fundamental memory operations: Consolidation, Updating, Indexing, Forgetting, Retrieval, and Compression. We map these operations to the most relevant research topics across long-term, long-context, parametric modification, and multi-source memory. By reframing memory systems through the lens of atomic operations and representation types, this survey provides a structured and dynamic perspective on research, benchmark datasets, and tools related to memory in AI, clarifying the functional interplay in LLMs based agents while outlining promising directions for future research\footnote{The paper list, datasets, methods and tools are available at \href{https://github.com/Elvin-Yiming-Du/Survey_Memory_in_AI}{https://github.com/Elvin-Yiming-Du/Survey\_Memory\_in\_AI}.}.

arxiv情報

著者 Yiming Du,Wenyu Huang,Danna Zheng,Zhaowei Wang,Sebastien Montella,Mirella Lapata,Kam-Fai Wong,Jeff Z. Pan
発行日 2025-05-27 17:38:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions はコメントを受け付けていません

Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion

投稿日: 2025年5月28日 作成者: jarxiv

要約

拡散言語モデルは、並列トークンの生成と固有の双方向性を提供し、自己回帰アプローチと比較して、より効率的で強力なシーケンスモデリングを約束します。
ただし、最先端の拡散モデル（例：Dream 7b、Llada 8b）は、ゆっくりとした推論に苦しんでいます。
同様のサイズの自己回帰（AR）モデルの品質（たとえば、QWEN2.5 7B、LLAMA3 8B）と一致しますが、それらの反復的な除去には複数のフルシーケンスフォワードパスが必要であり、特に長い入力プロンプトと長いコンテキストシナリオの場合、高い計算コストとレイテンシーをもたらします。
さらに、パラレルトークンの生成はトークンの一貫性の問題を導入し、現在のサンプリングヒューリスティックは、除去ステップの減少に伴う大幅な品質低下に苦しんでいます。
これらの制限は、2つのトレーニングなしのテクニックで対処します。
まず、キーバリュー（kV）近似キャッシング手法であるFreecacheを提案します。これは、除去ステップ全体で安定したKV投影を再利用し、DLM推論の計算コストを効果的に削減することを提案します。
第二に、軽量の前提条件の自己回帰モデルを使用してトークンアンマスキングを監督するトレーニングフリーの方法であるガイド付き拡散を紹介し、品質を犠牲にすることなく除去反復の総数を劇的に減らします。
オープンソースの推論ベンチマークについて広範な評価を実施しており、合わせたメソッドは、精度を損なうことなく34倍のエンドツーエンドのスピードアップを提供します。
初めて、拡散言語モデルは、広く採用されている自己回帰モデルとして、同等の、さらに速いレイテンシを実現します。
私たちの仕事は、拡散言語モデルを異なるドメインにまたがるより広いアプリケーションの範囲に拡大する方法を舗装しました。

要約(オリジナル)

Diffusion language models offer parallel token generation and inherent bidirectionality, promising more efficient and powerful sequence modeling compared to autoregressive approaches. However, state-of-the-art diffusion models (e.g., Dream 7B, LLaDA 8B) suffer from slow inference. While they match the quality of similarly sized Autoregressive (AR) Models (e.g., Qwen2.5 7B, Llama3 8B), their iterative denoising requires multiple full-sequence forward passes, resulting in high computational costs and latency, particularly for long input prompts and long-context scenarios. Furthermore, parallel token generation introduces token incoherence problems, and current sampling heuristics suffer from significant quality drops with decreasing denoising steps. We address these limitations with two training-free techniques. First, we propose FreeCache, a Key-Value (KV) approximation caching technique that reuses stable KV projections across denoising steps, effectively reducing the computational cost of DLM inference. Second, we introduce Guided Diffusion, a training-free method that uses a lightweight pretrained autoregressive model to supervise token unmasking, dramatically reducing the total number of denoising iterations without sacrificing quality. We conduct extensive evaluations on open-source reasoning benchmarks, and our combined methods deliver up to a 34x end-to-end speedup without compromising accuracy. For the first time, diffusion language models achieve a comparable and even faster latency as the widely adopted autoregressive models. Our work successfully paved the way for scaling up the diffusion language model to a broader scope of applications across different domains.

arxiv情報

著者 Zhanqiu Hu,Jian Meng,Yash Akhauri,Mohamed S. Abdelfattah,Jae-sun Seo,Zhiru Zhang,Udit Gupta
発行日 2025-05-27 17:39:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion はコメントを受け付けていません

Beyond ‘Aha!’: Toward Systematic Meta-Abilities Alignment in Large Reasoning Models

投稿日: 2025年5月28日 作成者: jarxiv

要約

大規模な推論モデル（LRMS）は、既に長い考え方の推論のために潜在能力を持っています。
以前の研究では、結果に基づく強化学習（RL）が、モデルの「AHAの瞬間」と呼ばれることが多いことが多い自己修正、バックトラッキング、検証現象などの高度な推論行動を偶然引き出すことができることが示されています。
ただし、これらの緊急行動のタイミングと一貫性は、LRMSの推論能力のスケーラビリティと信頼性を制限する予測不可能で制御不能のままです。
これらの制限に対処するために、私たちはプロンプトと偶然の「ahaの瞬間」への依存を超えて移動します。
代わりに、モデルを自動的に生成された自己検証可能なタスクを使用して、モデルを控除、誘導、および誘ductionの3つのメタ機能と明示的に整列させます。
3つのステージパイプラインの個々のアライメント、パラメータースペースの合併、およびドメイン固有の補強学習は、命令チューニングベースラインと比較して10 \％を超えるパフォーマンスを高めます。
さらに、整列されたチェックポイントからのドメイン固有のRLは、数学、コーディング、および科学ベンチマーク全体の7Bおよび32Bモデルの両方のパフォーマンス上限に追加のゲインをもたらし、明示的なメタ性アラインメントが推論のためにスケーラブルで信頼できる基盤を提供することを実証します。
コードは、https：//github.com/zhiyuanhubj/meta-ability-alignmentで入手できます

要約(オリジナル)

Large reasoning models (LRMs) already possess a latent capacity for long chain-of-thought reasoning. Prior work has shown that outcome-based reinforcement learning (RL) can incidentally elicit advanced reasoning behaviors such as self-correction, backtracking, and verification phenomena often referred to as the model’s ‘aha moment’. However, the timing and consistency of these emergent behaviors remain unpredictable and uncontrollable, limiting the scalability and reliability of LRMs’ reasoning capabilities. To address these limitations, we move beyond reliance on prompts and coincidental ‘aha moments’. Instead, we explicitly align models with three meta-abilities: deduction, induction, and abduction, using automatically generated, self-verifiable tasks. Our three stage-pipeline individual alignment, parameter-space merging, and domain-specific reinforcement learning, boosting performance by over 10\% relative to instruction-tuned baselines. Furthermore, domain-specific RL from the aligned checkpoint yields an additional gain in performance ceiling for both 7B and 32B models across math, coding, and science benchmarks, demonstrating that explicit meta-ability alignment offers a scalable and dependable foundation for reasoning. Code is available at: https://github.com/zhiyuanhubj/Meta-Ability-Alignment

arxiv情報

著者 Zhiyuan Hu,Yibo Wang,Hanze Dong,Yuhui Xu,Amrita Saha,Caiming Xiong,Bryan Hooi,Junnan Li
発行日 2025-05-27 17:41:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Beyond ‘Aha!’: Toward Systematic Meta-Abilities Alignment in Large Reasoning Models はコメントを受け付けていません