Evolving Hate Speech Online: An Adaptive Framework for Detection and Mitigation

投稿日: 2025年2月24日 作成者: jarxiv

要約

ソーシャルメディアプラットフォームの急増により、ヘイトスピーチの広がりが増加し、特に脆弱なコミュニティを標的にしています。
残念ながら、有毒言語を自動的に識別してブロックするための既存の方法は、事前に構築された辞書に依存しており、適応性ではなく反応性があります。
そのため、これらのアプローチは、特に新しいコミュニティが元のデータセットに含まれていないスラーで対象となる場合、時間の経過とともに効果が低くなります。
この問題に対処するために、単語の埋め込みを使用してレキシコンを更新し、新たなスラーと新しい言語パターンに適応するハイブリッドモデルを開発する適応アプローチを提示します。
このアプローチは、検出を避けるために攻撃者が採用した意図的なスペルミスを含む、有毒言語を効果的に検出できます。
BERTとレキシコンベースの技術を組み合わせたハイブリッドモデルは、ほとんどの最先端のデータセットで95％の精度を達成しています。
私たちの仕事は、有毒な含有量の検出を改善し、レキシコンを積極的に更新することにより、より安全なオンライン環境を作成することに大きな意味があります。
コンテンツ警告：この論文には、トリガーする可能性のあるヘイトスピーチの例が含まれています。

要約(オリジナル)

The proliferation of social media platforms has led to an increase in the spread of hate speech, particularly targeting vulnerable communities. Unfortunately, existing methods for automatically identifying and blocking toxic language rely on pre-constructed lexicons, making them reactive rather than adaptive. As such, these approaches become less effective over time, especially when new communities are targeted with slurs not included in the original datasets. To address this issue, we present an adaptive approach that uses word embeddings to update lexicons and develop a hybrid model that adjusts to emerging slurs and new linguistic patterns. This approach can effectively detect toxic language, including intentional spelling mistakes employed by aggressors to avoid detection. Our hybrid model, which combines BERT with lexicon-based techniques, achieves an accuracy of 95% for most state-of-the-art datasets. Our work has significant implications for creating safer online environments by improving the detection of toxic content and proactively updating the lexicon. Content Warning: This paper contains examples of hate speech that may be triggering.

arxiv情報

著者 Shiza Ali,Jeremy Blackburn,Gianluca Stringhini
発行日 2025-02-21 14:41:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SI | Evolving Hate Speech Online: An Adaptive Framework for Detection and Mitigation はコメントを受け付けていません

DarwinLM: Evolutionary Structured Pruning of Large Language Models

投稿日: 2025年2月24日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、さまざまなNLPタスクで大きな成功を収めています。
ただし、特にリアルタイムのアプリケーションでは、大規模な計算コストが広く使用されています。
構造化された剪定は、モデルを圧縮し、ハードウェア環境に関係なく、エンドツーエンドの速度の改善を直接提供することにより、効果的なソリューションを提供します。
一方、モデルのさまざまなコンポーネントは、剪定に対してさまざまな感度を示し、\ emphing {非uniform}モデル圧縮を要求します。
ただし、剪定方法では、有能な下部構造を特定するだけでなく、圧縮後のトレーニングも説明する必要があります。
この目的のために、\ sysnameを提案します。これは、\ emphing {training-aware}構造化された剪定の方法です。
\ sysNameは、進化の検索プロセスに基づいて構築され、突然変異を通じて各世代に複数の子孫モデルを生成し、生存のための適者を選択します。
トレーニング後の効果を評価するために、子孫集団内に軽量の多段階トレーニングプロセスを組み込み、トークンの数を徐々に増やし、各選択段階でパフォーマンスの低いモデルを排除します。
Llama-2-7B、Llama-3.1-8B、QWEN-2.5-14B-Instructの広範な実験を通じて、私たちの方法を検証し、構造化された剪定の最先端のパフォーマンスを達成します。
たとえば、\ sysnameは、圧縮後のトレーニング中に5ドルの時間$ $ $ $のトレーニングデータを必要としながら、shearedllamaを上回ります。
コードはhttps://github.com/ist-daslab/darwinlmです

要約(オリジナル)

Large Language Models (LLMs) have achieved significant success across various NLP tasks. However, their massive computational costs limit their widespread use, particularly in real-time applications. Structured pruning offers an effective solution by compressing models and directly providing end-to-end speed improvements, regardless of the hardware environment. Meanwhile, different components of the model exhibit varying sensitivities towards pruning, calling for \emph{non-uniform} model compression. However, a pruning method should not only identify a capable substructure, but also account for post-compression training. To this end, we propose \sysname, a method for \emph{training-aware} structured pruning. \sysname builds upon an evolutionary search process, generating multiple offspring models in each generation through mutation, and selecting the fittest for survival. To assess the effect of post-training, we incorporate a lightweight, multistep training process within the offspring population, progressively increasing the number of tokens and eliminating poorly performing models in each selection stage. We validate our method through extensive experiments on Llama-2-7B, Llama-3.1-8B and Qwen-2.5-14B-Instruct, achieving state-of-the-art performance for structured pruning. For instance, \sysname surpasses ShearedLlama while requiring $5\times$ less training data during post-compression training. Code is at: https://github.com/IST-DASLab/DarwinLM

arxiv情報

著者 Shengkun Tang,Oliver Sieberling,Eldar Kurtic,Zhiqiang Shen,Dan Alistarh
発行日 2025-02-21 14:41:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | DarwinLM: Evolutionary Structured Pruning of Large Language Models はコメントを受け付けていません

Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models

投稿日: 2025年2月24日 作成者: jarxiv

要約

トレーニングの安定性は、特に勾配爆発と散逸を起こしやすいポストノーム変圧器などのアーキテクチャでは、大規模な言語モデル（LLM）の事前トレーニングにおける永続的な課題です。
このホワイトペーパーでは、完全に接続された層の重量マトリックスのスケールと分布を明示的に分離することによりトレーニングを安定させる新しいアプローチである、スケールディストリビューションデカップリング（SDD）を提案します。
SDDは、活性化を調節するための正規化メカニズムと学習可能なスケーリングベクターを適用して、条件付き勾配を維持し、$ \ textBF {勾配爆発と散逸} $を効果的に防止します。
この分離は、安定した勾配伝播を確保することにより、特に深いネットワークでの最適化効率を改善します。
実験結果は、私たちの方法がさまざまなLLMアーキテクチャ間のトレーニングを安定させ、異なる正規化構成で既存の手法を上回ることを示しています。
さらに、提案された方法は軽量で既存のフレームワークと互換性があるため、LLMトレーニングを安定化するための実用的なソリューションとなっています。
コードはhttps://github.com/kaihemo/sddで入手できます。

要約(オリジナル)

Training stability is a persistent challenge in the pre-training of large language models (LLMs), particularly for architectures such as Post-Norm Transformers, which are prone to gradient explosion and dissipation. In this paper, we propose Scale-Distribution Decoupling (SDD), a novel approach that stabilizes training by explicitly decoupling the scale and distribution of the weight matrix in fully-connected layers. SDD applies a normalization mechanism to regulate activations and a learnable scaling vector to maintain well-conditioned gradients, effectively preventing $\textbf{gradient explosion and dissipation}$. This separation improves optimization efficiency, particularly in deep networks, by ensuring stable gradient propagation. Experimental results demonstrate that our method stabilizes training across various LLM architectures and outperforms existing techniques in different normalization configurations. Furthermore, the proposed method is lightweight and compatible with existing frameworks, making it a practical solution for stabilizing LLM training. Code is available at https://github.com/kaihemo/SDD.

arxiv情報

著者 Ya Wang,Zhijian Zhuo,Yutao Zeng,Xun Zhou,Jian Yang,Xiaoqing Li
発行日 2025-02-21 14:49:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Scale-Distribution Decoupling: Enabling Stable and Effective Training of Large Language Models はコメントを受け付けていません

Is Free Self-Alignment Possible?

投稿日: 2025年2月24日 作成者: jarxiv

要約

前提条件モデル（LMS）を調整するには、多くの場合、大規模な選好データと実質的な計算リソースが必要です。
これらのコストは、多目的または多元的なアライメントでさらに禁止されています。
これは本当に必要ですか？
内部モデル機能のみを使用して、追加のトレーニングなしで効率的なアライメントを実行できますか？
この質問に答えるために、Alignezを提案します。Alignezは、（1）自己生成設定データと（2）表現編集を活用して、費用対効果が高く効率的なアライメントを実現する新しいアプローチを提案します。
学習した表現を直接操作することにより、Alignezは、従来のアライメント方法のオーバーヘッドなしに異なる行動の側面を独立してターゲットにします。
私たちの実験は、この費用効率の高い手順により、多様なタスク全体のパフォーマンスが向上することが明らかになりました。強力な基本モデルから始まる場合でも、一般的なアライメントで最大19.9％、挑戦的な数学的推論タスクで1.9％です。
Alignezは、モデルを複数の目的に同時に並べることもでき、複数の優先軸に対する細粒の制御を許可することもできます。
最後に、Alignezは、より高価なアライメント手順（DPOなど）を、地上忠実な優先データの限られた可用性の下でも加速できることを示しています。

要約(オリジナル)

Aligning pretrained language models (LMs) often requires large-scale preference data and substantial computational resources. These costs become even more prohibitive for multi-objective or pluralistic alignment. Is this truly necessary? Can we perform efficient alignment using only internal model capabilities, and without additional training? To answer this question, we propose AlignEZ, a novel approach that leverages (1) self-generated preference data and (2) representation editing to achieve cost-effective, efficient alignment. By operating directly on learned representations, AlignEZ independently targets different behavioral aspects without the overhead of traditional alignment methods. Our experiments reveal that this cost-efficient procedure improves performance across diverse tasks: up to 19.9% on general alignment and 1.9% on challenging mathematical reasoning tasks, even when starting from a strong base model. AlignEZ can also align models to multiple objectives simultaneously, granting fine-grained control over multiple preference axes. Finally, we show that AlignEZ can accelerate more expensive alignment procedures–such as DPO–even under limited availability of ground-truth preference data.

arxiv情報

著者 Dyah Adila,Changho Shin,Yijing Zhang,Frederic Sala
発行日 2025-02-21 14:54:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Is Free Self-Alignment Possible? はコメントを受け付けていません

Giving AI Personalities Leads to More Human-Like Reasoning

投稿日: 2025年2月24日 作成者: jarxiv

要約

計算認知モデリングでは、最適な行動を超えて、人間の判断と意思決定プロセスの全範囲をキャプチャすることは、重要な課題です。
この研究では、大規模な言語モデル（LLM）が、直感的で高速なシステム1と意図的な遅いシステム2プロセスの両方を予測することにより、人間の推論の幅をエミュレートできるかどうかを調査します。
私たちは、「完全な推論スペクトル問題」と呼ばれるものに対処するために、人口の多様な推論行動を模倣するAIの可能性を調査します。
私たちは、人間の推論を再現するLLMSの能力を評価するために、自然言語推論（NLI）形式の新しい一般化を使用して推論タスクを設計しました。
質問は、システム1とシステム2の応答の両方を引き出すために作成されました。
人間の反応はクラウドソーシングを通じて収集され、分布全体が回答の大部分ではなくモデル化されました。
ビッグファイブパーソナリティモデルに触発された人格ベースのプロンプトを使用して、特定の性格特性を反映したAI応答を引き出し、人間の推論の多様性を捉え、性格特性がLLM出力にどのように影響するかを探ることを誘発しました。
これらのプロンプトの重み付けを最適化するための遺伝的アルゴリズムと組み合わせて、この方法は従来の機械学習モデルとともにテストされました。
結果は、LLMがラマやミストラルの優れた独自のGPTモデルなどのオープンソースモデルで、人間の反応分布を模倣できることを示しています。
人格に基づくプロンプトは、特に遺伝的アルゴリズムで最適化された場合、人間の反応分布を予測するLLMSの能力を大幅に強化し、最適ではない自然主義的推論をキャプチャするには、多様な推論スタイルと心理的プロファイルを組み込むモデリング技術が必要になる可能性があることを示唆しています。
この研究では、性格ベースのプロンプトと遺伝的アルゴリズムが組み合わされていることは、推論においてAIの「人間性」を強化することを約束していると結論付けています。

要約(オリジナル)

In computational cognitive modeling, capturing the full spectrum of human judgment and decision-making processes, beyond just optimal behaviors, is a significant challenge. This study explores whether Large Language Models (LLMs) can emulate the breadth of human reasoning by predicting both intuitive, fast System 1 and deliberate, slow System 2 processes. We investigate the potential of AI to mimic diverse reasoning behaviors across a human population, addressing what we call the ‘full reasoning spectrum problem’. We designed reasoning tasks using a novel generalization of the Natural Language Inference (NLI) format to evaluate LLMs’ ability to replicate human reasoning. The questions were crafted to elicit both System 1 and System 2 responses. Human responses were collected through crowd-sourcing and the entire distribution was modeled, rather than just the majority of the answers. We used personality-based prompting inspired by the Big Five personality model to elicit AI responses reflecting specific personality traits, capturing the diversity of human reasoning, and exploring how personality traits influence LLM outputs. Combined with genetic algorithms to optimize the weighting of these prompts, this method was tested alongside traditional machine learning models. The results show that LLMs can mimic human response distributions, with open-source models like Llama and Mistral outperforming proprietary GPT models. Personality-based prompting, especially when optimized with genetic algorithms, significantly enhanced LLMs’ ability to predict human response distributions, suggesting that capturing suboptimal, naturalistic reasoning may require modeling techniques incorporating diverse reasoning styles and psychological profiles. The study concludes that personality-based prompting combined with genetic algorithms is promising for enhancing AI’s ‘human-ness’ in reasoning.

arxiv情報

著者 Animesh Nighojkar,Bekhzodbek Moydinboyev,My Duong,John Licato
発行日 2025-02-21 14:57:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CY | Giving AI Personalities Leads to More Human-Like Reasoning はコメントを受け付けていません

Activation Steering in Neural Theorem Provers

投稿日: 2025年2月24日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、Leanのようなプルーフアシスタントを使用して正式な定理を証明することで有望を示しています。
ただし、現在の最先端の言語モデルは、実務家がさまざまなサンプリング手法を使用してLLMS機能を改善することを導く証明の次のステップを予測するのに苦労しています。
LLMは正しい戦術を予測できることを観察します。
ただし、候補戦術のセット内で適切にランキングする際の課題に直面しており、全体的な選択プロセスに影響します。
このハードルを克服するために、アクティベーションステアリングを使用してLLMS応答をガイドして、推論時の世代を改善します。
我々の結果は、アクティベーションステアリングが、特にリソースに制約のある環境で価値があるLLMの定理証明能力を強化するための特殊な微調整の有望な軽量の代替品を提供することを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) have shown promise in proving formal theorems using proof assistants like Lean. However, current state of the art language models struggles to predict next step in proofs leading practitioners to use different sampling techniques to improve LLMs capabilities. We observe that the LLM is capable of predicting the correct tactic; however, it faces challenges in ranking it appropriately within the set of candidate tactics, affecting the overall selection process. To overcome this hurdle, we use activation steering to guide LLMs responses to improve the generations at the time of inference. Our results suggest that activation steering offers a promising lightweight alternative to specialized fine-tuning for enhancing theorem proving capabilities in LLMs, particularly valuable in resource-constrained environments.

arxiv情報

著者 Shashank Kirtania
発行日 2025-02-21 15:04:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Activation Steering in Neural Theorem Provers はコメントを受け付けていません

SOTOPIA-Ω: Dynamic Strategy Injection Learning and Social Instrucion Following Evaluation for Social Agents

投稿日: 2025年2月24日 作成者: jarxiv

要約

人間によって所有されている以前の社会的戦略が豊富にあるにもかかわらず、彼らの移転と社会的エージェントへの統合に特化した研究の不足が残っています。
提案されているソトピア – {\ omega}フレームワークは、言語エージェントの社会的能力を高めることに特に焦点を当てて、このギャップに対処し、橋渡しすることを目的としています。
このフレームワークは、交渉理論に触発されたマルチステップ推論戦略を動的に注入し、2つの単純な直接的な戦略を専門家エージェントに入れ、それによって高品質の社会的対話訓練コーパスの構築を自動化します。
さらに、フォロー（S-IF）の社会的指導の概念を紹介し、社会的能力を補完する2つの新しいS-IF評価メトリックを提案します。
高品質のコーパスで訓練されたいくつかの7Bモデルが、社会的目標を達成する際に専門家（GPT-4）を大幅に上回るだけでなく、S-IFパフォーマンスを強化することを実証します。
分析とバリアント実験は、動的構造の利点を検証します。これは、特にエージェントの長期にわたるデッドロックを壊す可能性があります。

要約(オリジナル)

Despite the abundance of prior social strategies possessed by humans, there remains a paucity of research dedicated to their transfer and integration into social agents. Our proposed SOTOPIA-{\Omega} framework aims to address and bridge this gap, with a particular focus on enhancing the social capabilities of language agents. This framework dynamically injects multi-step reasoning strategies inspired by negotiation theory, along with two simple direct strategies, into expert agents, thereby automating the construction of high-quality social dialogue training corpus. Additionally, we introduce the concept of Social Instruction Following (S-IF) and propose two new S-IF evaluation metrics that are complementary to social capability. We demonstrate that several 7B models trained on high-quality corpus not only significantly surpass the expert agent (GPT-4) in achieving social goals but also enhance S-IF performance. Analysis and variant experiments validate the advantages of dynamic construction, which can especially break the agent’s prolonged deadlock.

arxiv情報

著者 Wenyuan Zhang,Tianyun Liu,Mengxiao Song,Xiaodong Li,Tingwen Liu
発行日 2025-02-21 15:40:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY, cs.HC | SOTOPIA-Ω: Dynamic Strategy Injection Learning and Social Instrucion Following Evaluation for Social Agents はコメントを受け付けていません

Fully automatic extraction of morphological traits from the Web: utopia or reality?

投稿日: 2025年2月24日 作成者: jarxiv

要約

観察可能な特性である植物の形態学的特性は、生態系内の各種が果たす役割を理解するための基本です。
ただし、中程度の数の種でも特性情報を編集することは、達成するのに何年もかかる可能性のある厳しいタスクです。
同時に、種の説明に関する膨大な量の情報はテキストの形でオンラインで入手できますが、構造がないため、このデータのソースは大規模に使用することができません。
これを克服するために、私たちは、大規模な言語モデル（LLM）の最近の進歩を活用し、手動のキュレーションなしで構造化されていないテキスト記述の形で植物特性に関する情報を収集および処理するメカニズムを考案することを提案します。
手動で作成された3つの特性マトリックスを自動的に複製することにより、アプローチを評価します。
私たちの方法は、F1スコアが75％以上で、種と形質のペアの半分以上の値を見つけることができました。
我々の結果は、LLMSの情報抽出機能のおかげで、構造化されていないオンラインテキストから構造化された特性データベースの大規模な作成が現在実行可能であり、関心のあるすべての特性をカバーするテキストの説明が利用できることによって制限されることを示唆しています。

要約(オリジナル)

Plant morphological traits, their observable characteristics, are fundamental to understand the role played by each species within their ecosystem. However, compiling trait information for even a moderate number of species is a demanding task that may take experts years to accomplish. At the same time, massive amounts of information about species descriptions is available online in the form of text, although the lack of structure makes this source of data impossible to use at scale. To overcome this, we propose to leverage recent advances in large language models (LLMs) and devise a mechanism for gathering and processing information on plant traits in the form of unstructured textual descriptions, without manual curation. We evaluate our approach by automatically replicating three manually created species-trait matrices. Our method managed to find values for over half of all species-trait pairs, with an F1-score of over 75%. Our results suggest that large-scale creation of structured trait databases from unstructured online text is currently feasible thanks to the information extraction capabilities of LLMs, being limited by the availability of textual descriptions covering all the traits of interest.

arxiv情報

著者 Diego Marcos,Robert van de Vlasakker,Ioannis N. Athanasiadis,Pierre Bonnet,Hervé Goeau,Alexis Joly,W. Daniel Kissling,César Leblanc,André S. J. van Proosdij,Konstantinos P. Panousis
発行日 2025-02-21 15:48:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Fully automatic extraction of morphological traits from the Web: utopia or reality? はコメントを受け付けていません

Exploring and Controlling Diversity in LLM-Agent Conversation

投稿日: 2025年2月24日 作成者: jarxiv

要約

LLM-Agent Worldシミュレーションの多様性の制御は、創造性が必要な変動を可能にしながら、構造化されたタスクの安定性を維持するために不可欠です。
ただし、対話の多様性は長期シミュレーションで大幅に低下することがわかります。
会話の多様性における迅速な設計の役割を調査するために、発話生成プロンプトをモジュール化し、与えられた情報を減らすとより多様な出力につながることがわかりました。
この洞察に基づいて、ユーザーが単一のパラメーターであるLambdaを介して多様性を制御できる新しい方法であるAdaptive Prompt Pruning（APP）を提案します。
アプリは、注意力に基づいて発話生成プロンプトを動的に剪定し、従来の多様性制御技術と互換性があります。
APPは、広範な実験を通じて出力の多様性を効果的に制御し、制御トレードオフのバランスをとる方法を提案することを実証します。
さらに、マルチエージェントシミュレーションの多様性制御の最適化に関する洞察を提供するための詳細な分析を提供します。

要約(オリジナル)

Controlling diversity in LLM-agent world simulations is essential for maintaining stability in structured tasks while enabling variation where creativity is needed. However, we observe that dialogue diversity declines significantly over long-term simulation. To investigate the role of prompt design in conversational diversity, we modularized the utterance generation prompt and found that reducing the given information leads to more diverse outputs. Based on this insight, we propose Adaptive Prompt Pruning (APP), a novel method that allows users to control diversity through a single parameter, lambda. APP dynamically prunes the utterance generation prompt based on their attention weights and is compatible with traditional diversity control techniques. We demonstrate that APP effectively controls output diversity through extensive experiments, and propose a method to balance the control trade-offs. Additionally, we provide an in-depth analysis to offer insights into optimizing diversity control in multi-agent simulation.

arxiv情報

著者 KuanChao Chu,Yi-Pei Chen,Hideki Nakayama
発行日 2025-02-21 15:48:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Exploring and Controlling Diversity in LLM-Agent Conversation はコメントを受け付けていません

NaturalReasoning: Reasoning in the Wild with 2.8M Challenging Questions

投稿日: 2025年2月24日 作成者: jarxiv

要約

数学やコーディングなどの従来のドメインを超えたスケーリングの推論機能は、多様で高品質の質問がないために妨げられています。
この制限を克服するために、参照回答を伴う多様で挑戦的な推論の質問を生成するためのスケーラブルなアプローチを紹介します。
STEMフィールド（物理学、コンピューターサイエンスなど）、経済学、社会科学などを含む複数のドメインにまたがる280万の質問を含む包括的なデータセットであるNaturalReasoningを提示します。
ナチュラルリングが強力な教師モデルから推論能力を効果的に引き出して転送できることを示す知識蒸留実験を通じて、自然reasonisingの質問の有用性を実証します。
さらに、NaturalReasoningは、外部報酬モデルまたは自己報酬を使用した監視されていない自己訓練にも効果的であることを実証します。

要約(オリジナル)

Scaling reasoning capabilities beyond traditional domains such as math and coding is hindered by the lack of diverse and high-quality questions. To overcome this limitation, we introduce a scalable approach for generating diverse and challenging reasoning questions, accompanied by reference answers. We present NaturalReasoning, a comprehensive dataset comprising 2.8 million questions that span multiple domains, including STEM fields (e.g., Physics, Computer Science), Economics, Social Sciences, and more. We demonstrate the utility of the questions in NaturalReasoning through knowledge distillation experiments which show that NaturalReasoning can effectively elicit and transfer reasoning capabilities from a strong teacher model. Furthermore, we demonstrate that NaturalReasoning is also effective for unsupervised self-training using external reward models or self-rewarding.

arxiv情報

著者 Weizhe Yuan,Jane Yu,Song Jiang,Karthik Padthe,Yang Li,Dong Wang,Ilia Kulikov,Kyunghyun Cho,Yuandong Tian,Jason E Weston,Xian Li
発行日 2025-02-21 16:02:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | NaturalReasoning: Reasoning in the Wild with 2.8M Challenging Questions はコメントを受け付けていません