Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems

投稿日: 2025年2月27日 作成者: jarxiv

要約

報酬モデル（RMS）は、大規模な言語モデル（LLM）のトレーニングと推論時のスケールアップに不可欠です。
ただし、既存の報酬モデルは主に人間の好みに焦点を当てており、LLMのトレーニングに強い可能性を示した検証可能な正確性シグナルを無視しています。
この論文では、報酬モデルとさまざまな側面からの検証可能な正確性シグナルを組み合わせて信頼できる報酬を提供する報酬モデルであるエージェント報酬モデリングを提案します。
私たちは、人間の好みの報酬と2つの検証可能な信号を組み合わせた報酬エージェントであるRegidagentという名前の報酬エージェントを経験的に実装します。
既存の報酬モデルベンチマークと推論時間に関する包括的な実験を実施します。
Regidagentはバニラ報酬モデルを大幅に上回り、その有効性を示しています。
さらに、報酬剤を使用してトレーニング優先ペアを構築し、DPO目的でLLMをトレーニングし、従来の報酬モデルと比較してさまざまなNLPベンチマークで優れたパフォーマンスを達成します。
私たちのコードは、さらなる研究を促進するために公開されています（https://github.com/thu-keg/agentic-reward-modeling）。

要約(オリジナル)

Reward models (RMs) are crucial for the training and inference-time scaling up of large language models (LLMs). However, existing reward models primarily focus on human preferences, neglecting verifiable correctness signals which have shown strong potential in training LLMs. In this paper, we propose agentic reward modeling, a reward system that combines reward models with verifiable correctness signals from different aspects to provide reliable rewards. We empirically implement a reward agent, named RewardAgent, that combines human preference rewards with two verifiable signals: factuality and instruction following, to provide more reliable rewards. We conduct comprehensive experiments on existing reward model benchmarks and inference time best-of-n searches on real-world downstream tasks. RewardAgent significantly outperforms vanilla reward models, demonstrating its effectiveness. We further construct training preference pairs using RewardAgent and train an LLM with the DPO objective, achieving superior performance on various NLP benchmarks compared to conventional reward models. Our codes are publicly released to facilitate further research (https://github.com/THU-KEG/Agentic-Reward-Modeling).

arxiv情報

著者 Hao Peng,Yunjia Qi,Xiaozhi Wang,Zijun Yao,Bin Xu,Lei Hou,Juanzi Li
発行日 2025-02-26 17:19:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Agentic Reward Modeling: Integrating Human Preferences with Verifiable Correctness Signals for Reliable Reward Systems はコメントを受け付けていません

Modality Interactive Mixture-of-Experts for Fake News Detection

投稿日: 2025年2月27日 作成者: jarxiv

要約

ソーシャルメディアプラットフォームでの偽のニュースの拡散は、脆弱な集団に不均衡に影響を与え、信頼を侵食し、不平等を悪化させ、有害な物語を増幅します。
欺cept的なコンテンツがテキストと画像を組み合わせたマルチモーダルのコンテキストで偽のニュースを検出することは、モダリティ間の微妙な相互作用のために特に挑戦的です。
既存のマルチモーダル偽のニュース検出方法は、しばしばモーダルの一貫性を強調しますが、テキストと視覚要素の間の複雑な相互作用を無視します。
これらの課題に対処するために、相互作用ゲーティングメカニズムを介してモダリティ相互作用を明示的にモデル化することによりマルチモーダルの偽ニュース検出を強化するように設計された新しい階層的な混合物のフレームワークである、偽のニュース検出（MIMOE-FND）のモダリティインタラクティブな混合物を提示します。
私たちのアプローチは、モダリティ相互作用の2つの重要な側面を評価することにより、モダリティの相互作用をモデル化しています：単峰性予測契約とセマンティックアライメント。
MIMOE-FNDの階層構造は、さまざまな融合シナリオに合わせた明確な学習経路を可能にし、各モダリティ相互作用のユニークな特性に適応します。
Mimoe-Fndは、多様なモダリティインタラクションシナリオに融合戦略を調整することにより、マルチモーダルの偽ニュース検出に対するより堅牢で微妙なアプローチを提供します。
2つの言語にまたがる3つの実際のベンチマークでアプローチを評価し、最先端の方法と比較して優れたパフォーマンスを示しています。
偽のニュース検出の正確性と解釈性を高めることにより、Mimoe-Fndは、誤った情報の広がりを軽減するための有望なツールを提供し、その有害な効果から脆弱なコミュニティをより保護する可能性があります。

要約(オリジナル)

The proliferation of fake news on social media platforms disproportionately impacts vulnerable populations, eroding trust, exacerbating inequality, and amplifying harmful narratives. Detecting fake news in multimodal contexts — where deceptive content combines text and images — is particularly challenging due to the nuanced interplay between modalities. Existing multimodal fake news detection methods often emphasize cross-modal consistency but ignore the complex interactions between text and visual elements, which may complement, contradict, or independently influence the predicted veracity of a post. To address these challenges, we present Modality Interactive Mixture-of-Experts for Fake News Detection (MIMoE-FND), a novel hierarchical Mixture-of-Experts framework designed to enhance multimodal fake news detection by explicitly modeling modality interactions through an interaction gating mechanism. Our approach models modality interactions by evaluating two key aspects of modality interactions: unimodal prediction agreement and semantic alignment. The hierarchical structure of MIMoE-FND allows for distinct learning pathways tailored to different fusion scenarios, adapting to the unique characteristics of each modality interaction. By tailoring fusion strategies to diverse modality interaction scenarios, MIMoE-FND provides a more robust and nuanced approach to multimodal fake news detection. We evaluate our approach on three real-world benchmarks spanning two languages, demonstrating its superior performance compared to state-of-the-art methods. By enhancing the accuracy and interpretability of fake news detection, MIMoE-FND offers a promising tool to mitigate the spread of misinformation, with the potential to better safeguard vulnerable communities against its harmful effects.

arxiv情報

著者 Yifan Liu,Yaokun Liu,Zelin Li,Ruichen Yao,Yang Zhang,Dong Wang
発行日 2025-02-26 17:20:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, I.2.4 | Modality Interactive Mixture-of-Experts for Fake News Detection はコメントを受け付けていません

Joint Optimal Transport and Embedding for Network Alignment

投稿日: 2025年2月27日 作成者: jarxiv

要約

さまざまなネットワーク全体でノード対応を見つけることを目的としたネットワークアライメントは、さまざまな下流のマルチネットワークおよびWebマイニングタスクの基礎です。
埋め込みベースのメソッドのほとんどは、手作りの戦略からサンプリングされた正と負のノードのペアを対照的にモデル化することにより、グラフノードに対して脆弱でノードの潜在的な誤整列につながることにより、間接的にモデル化されたネットワークノード関係を間接的にモデル化します。
最適輸送（OT）理論に基づく別の作業ラインは、ネットワークのノードとの関係を直接モデル化し、ノイズ削減アライメントを生成します。
ただし、OTメソッドは、エンドツーエンドのトレーニングを禁止し、一般化するのが難しい、固定された事前定義されたコスト関数に大きく依存しています。
この論文では、埋め込みとOTベースの方法を相互に有益な方法で統一し、ジョーナというネットワークアライメントのための共同最適な輸送と埋め込みフレームワークを提案することを目指しています。
1つのこと（埋め込みのためのOT）、シンプルで効果的な変換を通じて、ノイズ削減OTマッピングは、堅牢な埋め込み学習のためにすべてのクロスネットワークノードペアを直接モデル化する適応サンプリング戦略として機能します。
統一された目的では、両方の方法の相互利益は、保証された収束を伴う交互の最適化スキーマによって達成できます。
現実世界のネットワークに関する広範な実験は、Joenaの有効性とスケーラビリティを検証し、最先端のアライメント方法と比較してMRRの最大16％の改善と20倍のスピードアップを達成します。

要約(オリジナル)

Network alignment, which aims to find node correspondence across different networks, is the cornerstone of various downstream multi-network and Web mining tasks. Most of the embedding-based methods indirectly model cross-network node relationships by contrasting positive and negative node pairs sampled from hand-crafted strategies, which are vulnerable to graph noises and lead to potential misalignment of nodes. Another line of work based on the optimal transport (OT) theory directly models cross-network node relationships and generates noise-reduced alignments. However, OT methods heavily rely on fixed, pre-defined cost functions that prohibit end-to-end training and are hard to generalize. In this paper, we aim to unify the embedding and OT-based methods in a mutually beneficial manner and propose a joint optimal transport and embedding framework for network alignment named JOENA. For one thing (OT for embedding), through a simple yet effective transformation, the noise-reduced OT mapping serves as an adaptive sampling strategy directly modeling all cross-network node pairs for robust embedding learning.For another (embedding for OT), on top of the learned embeddings, the OT cost can be gradually trained in an end-to-end fashion, which further enhances the alignment quality. With a unified objective, the mutual benefits of both methods can be achieved by an alternating optimization schema with guaranteed convergence. Extensive experiments on real-world networks validate the effectiveness and scalability of JOENA, achieving up to 16% improvement in MRR and 20x speedup compared with the state-of-the-art alignment methods.

arxiv情報

著者 Qi Yu,Zhichen Zeng,Yuchen Yan,Lei Ying,R. Srikant,Hanghang Tong
発行日 2025-02-26 17:28:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.SI | Joint Optimal Transport and Embedding for Network Alignment はコメントを受け付けていません

Wasserstein Distances, Neuronal Entanglement, and Sparsity

投稿日: 2025年2月27日 作成者: jarxiv

要約

不浸透性ポリマンティックニューロンは、大規模な言語モデルの解釈可能性に対する多くの現在のアプローチの中核です。
ここでは、特にトレーニング後の主要な最適化技術である体重スパースの下で、パフォーマンスを理解するために解き分析をどのように使用できるかを研究しようとします。
ニューロンのエンタングルメントを推定するための新しい尺度を提案します。ニューロンの出力分布のワッサースタイン距離はガウスへの距離です。
さらに、LLMの各線形層に少数の非常に絡み合った「ワッサースタインニューロン」が存在することを示します。これは、非常に非ガウス出力分布、異なる出力への同様の入力のマッピングにおける役割、およびモデルの精度への大きな影響を特徴としています。
これらの現象を研究するために、ポリマンティックニューロンを解くための新しい実験フレームワークを提案します。
私たちのフレームワークは、各レイヤーの入力を分離して、各ニューロンの出力がより低いワッサースタイン距離のニューロンの混合によって計算される専門家の混合物を作成します。
これは、まばらな専門家の混合物が個々のニューロンの入出力関係、特に困難なワッサースタインニューロンを効果的に解体しているためであるという強力な証拠を提供します。

要約(オリジナル)

Disentangling polysemantic neurons is at the core of many current approaches to interpretability of large language models. Here we attempt to study how disentanglement can be used to understand performance, particularly under weight sparsity, a leading post-training optimization technique. We suggest a novel measure for estimating neuronal entanglement: the Wasserstein distance of a neuron’s output distribution to a Gaussian. Moreover, we show the existence of a small number of highly entangled ‘Wasserstein Neurons’ in each linear layer of an LLM, characterized by their highly non-Gaussian output distributions, their role in mapping similar inputs to dissimilar outputs, and their significant impact on model accuracy. To study these phenomena, we propose a new experimental framework for disentangling polysemantic neurons. Our framework separates each layer’s inputs to create a mixture of experts where each neuron’s output is computed by a mixture of neurons of lower Wasserstein distance, each better at maintaining accuracy when sparsified without retraining. We provide strong evidence that this is because the mixture of sparse experts is effectively disentangling the input-output relationship of individual neurons, in particular the difficult Wasserstein neurons.

arxiv情報

著者 Shashata Sawmya,Linghao Kong,Ilia Markov,Dan Alistarh,Nir Shavit
発行日 2025-02-26 17:32:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Wasserstein Distances, Neuronal Entanglement, and Sparsity はコメントを受け付けていません

Provable Acceleration for Diffusion Models under Minimal Assumptions

投稿日: 2025年2月27日 作成者: jarxiv

要約

スコアベースの拡散モデルは、サンプリングに最小限の最適性を達成しますが、スコア関数評価の高い計算負荷により、サンプリング速度が遅いことによって妨げられることがよくあります。
スコアベースのサンプラーの高速化における最近の顕著な経験的進歩にもかかわらず、加速技術の理論的理解はほとんど限られたままです。
このギャップを埋めるために、確率的サンプラーの新しいトレーニングなしの加速スキームを提案します。
最小限の仮定の下で – すなわち、$ l^2 $ accurateスコアの推定値とターゲット分布の有限2番目のモーメント条件 – 加速サンプラーは、$ \ widetilde {o}（d^{5/4}/\ sqrt {epsilon {o}（d^{5/4}（d^{5/4}）内で$ \ widetilde {o}（d^{5/4}）内の総変化を実証することが証明されます。
$ \ widetilde {o}（d/\ varepsilon）$反復$ \ varepsilon \ leq 1/\ sqrt {d} $の標準スコアベースのサンプラーの複雑さを大幅に改善します。
特に、私たちの収束理論は、ターゲット分布または高次スコア推定保証に関する制限的な仮定に依存していません。

要約(オリジナル)

Score-based diffusion models, while achieving minimax optimality for sampling, are often hampered by slow sampling speeds due to the high computational burden of score function evaluations. Despite the recent remarkable empirical advances in speeding up the score-based samplers, theoretical understanding of acceleration techniques remains largely limited. To bridge this gap, we propose a novel training-free acceleration scheme for stochastic samplers. Under minimal assumptions — namely, $L^2$-accurate score estimates and a finite second-moment condition on the target distribution — our accelerated sampler provably achieves $\varepsilon$-accuracy in total variation within $\widetilde{O}(d^{5/4}/\sqrt{\varepsilon})$ iterations, thereby significantly improving upon the $\widetilde{O}(d/\varepsilon)$ iteration complexity of standard score-based samplers for $\varepsilon\leq 1/\sqrt{d}$. Notably, our convergence theory does not rely on restrictive assumptions on the target distribution or higher-order score estimation guarantees.

arxiv情報

著者 Gen Li,Changxiao Cai
発行日 2025-02-26 17:35:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, math.OC, stat.ML | Provable Acceleration for Diffusion Models under Minimal Assumptions はコメントを受け付けていません

Controlled Diversity: Length-optimized Natural Language Generation

投稿日: 2025年2月27日 作成者: jarxiv

要約

LLMは一般に、厳密な長さの要件に基づいて出力の長さを調整することはできません。これは、多様なユーザーとシステムの要件を順守する必要があるアプリケーションでの有用性を改善する機能です。
既存のデータを拡張し、既存の微調整技術を適用することにより、この機能を獲得するためのLLMSを訓練するアプローチを提示します。これは、ベースラインモデルと比較して、訓練されたモデルの長さ要件と全体的な応答品質への順守に基づいて比較します。
我々の結果は、これらの手法がLLMSを訓練するために正常に適用して長さの要件を順守できることを示しています。トレーニングされたモデルは、長さの要件により適切なテキストを生成します。
我々の結果は、ベースラインモデルによって生成されなかったトレーニングデータを使用する場合、メソッドが応答品質を変更する可能性があることを示しています。
これにより、特定のシナリオで別のトレーニング目標と同時にアラインメントが可能になりますが、そうでなければ望ましくありません。
モデル自身の応答を含むデータセットでのトレーニングは、この問題を排除します。

要約(オリジナル)

LLMs are not generally able to adjust the length of their outputs based on strict length requirements, a capability that would improve their usefulness in applications that require adherence to diverse user and system requirements. We present an approach to train LLMs to acquire this capability by augmenting existing data and applying existing fine-tuning techniques, which we compare based on the trained models’ adherence to the length requirement and overall response quality relative to the baseline model. Our results demonstrate that these techniques can be successfully applied to train LLMs to adhere to length requirements, with the trained models generating texts which better align to the length requirements. Our results indicate that our method may change the response quality when using training data that was not generated by the baseline model. This allows simultaneous alignment to another training objective in certain scenarios, but is undesirable otherwise. Training on a dataset containing the model’s own responses eliminates this issue.

arxiv情報

著者 Diana Marie Schenke,Timo Baumann
発行日 2025-02-26 17:38:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Controlled Diversity: Length-optimized Natural Language Generation はコメントを受け付けていません

Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification

投稿日: 2025年2月27日 作成者: jarxiv

要約

時系列分類におけるトランスモデルの計算需要の増加は、エネルギー効率の高い展開のための効果的な最適化戦略を必要とします。
この論文では、構造化された剪定とトランスアーキテクチャの量子化方法に焦点を当てた最適化技術の体系的な調査を提示します。
3つの異なるデータセット（冷凍デバイス、電気デバイス、および格子形）での広範な実験を通じて、さまざまなトランス構成にわたってモデルのパフォーマンスとエネルギー効率を定量的に評価します。
私たちの実験結果は、分類パフォーマンスを維持しながら、静的量子化によりエネルギー消費が29.14％減少することを示しており、L1剪定により、精度の低下で推論速度が63％改善されることが示されています。
これらの調査結果は、トランスベースの時系列分類のための最適化戦略の有効性に関する貴重な洞察を提供し、リソースに制約のある環境での効率的なモデル展開の基盤を確立します。

要約(オリジナル)

The increasing computational demands of transformer models in time series classification necessitate effective optimization strategies for energy-efficient deployment. This paper presents a systematic investigation of optimization techniques, focusing on structured pruning and quantization methods for transformer architectures. Through extensive experimentation on three distinct datasets (RefrigerationDevices, ElectricDevices, and PLAID), we quantitatively evaluate model performance and energy efficiency across different transformer configurations. Our experimental results demonstrate that static quantization reduces energy consumption by 29.14% while maintaining classification performance, and L1 pruning achieves a 63% improvement in inference speed with minimal accuracy degradation. These findings provide valuable insights into the effectiveness of optimization strategies for transformer-based time series classification, establishing a foundation for efficient model deployment in resource-constrained environments.

arxiv情報

著者 Arshia Kermani,Ehsan Zeraatkar,Habib Irani
発行日 2025-02-26 17:39:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.PF | Energy-Efficient Transformer Inference: Optimization Strategies for Time Series Classification はコメントを受け付けていません

The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation

投稿日: 2025年2月27日 作成者: jarxiv

要約

このペーパーでは、非常に小さなデータセットに事前に訓練された大型言語モデル（LLM）に過剰適合するという直感に反する一般化結果を紹介します。
自由回答形式のテキスト生成の設定では、LLMが繰り返しの鈍いシーケンスを生成する傾向があることは十分に文書化されています。これは、貪欲なデコードを使用して生成するときに特に明らかな現象です。
この問題は、数十億のパラメーターを含む最先端のLLMSでも持続し、大規模なデータセットの次のトークン予測を介して訓練されています。
これらのモデルをさらに微調整して、小さなサンプルのセット（ハイパーフィッティングと呼ばれるプロセス）でゼロに近いトレーニング損失を達成することで、長いシーケンス生成機能が大幅に強化されることがわかります。
これらの過激なモデルを使用した貪欲なデコードは、多様性と人間の好みの両方の点で、長いシーケンスよりもトップPサンプリングよりも優れています。
この現象は、さまざまなサイズ、さまざまなドメイン、さらには自己回帰画像生成のLLMSに拡張されます。
さらに、この現象は、グラッキングと二重降下の現象とはっきりと異なることがわかります。
驚くべきことに、我々の実験は、過激なモデルが訓練された繰り返しシーケンスにめったに該当することはめったにないことを示しており、これらのシーケンスを明示的にブロックすることで、高品質の出力になります。
すべての過熱モデルは、非常に低いエントロピーの予測を生成し、多くの場合、ほぼすべての確率を単一のトークンに割り当てます。

要約(オリジナル)

This paper introduces the counter-intuitive generalization results of overfitting pre-trained large language models (LLMs) on very small datasets. In the setting of open-ended text generation, it is well-documented that LLMs tend to generate repetitive and dull sequences, a phenomenon that is especially apparent when generating using greedy decoding. This issue persists even with state-of-the-art LLMs containing billions of parameters, trained via next-token prediction on large datasets. We find that by further fine-tuning these models to achieve a near-zero training loss on a small set of samples — a process we refer to as hyperfitting — the long-sequence generative capabilities are greatly enhanced. Greedy decoding with these Hyperfitted models even outperform Top-P sampling over long-sequences, both in terms of diversity and human preferences. This phenomenon extends to LLMs of various sizes, different domains, and even autoregressive image generation. We further find this phenomena to be distinctly different from that of Grokking and double descent. Surprisingly, our experiments indicate that hyperfitted models rarely fall into repeating sequences they were trained on, and even explicitly blocking these sequences results in high-quality output. All hyperfitted models produce extremely low-entropy predictions, often allocating nearly all probability to a single token.

arxiv情報

著者 Fredrik Carlsson,Fangyu Liu,Daniel Ward,Murathan Kurfali,Joakim Nivre
発行日 2025-02-26 17:51:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation はコメントを受け付けていません

Physics-Based Hybrid Machine Learning for Critical Heat Flux Prediction with Uncertainty Quantification

投稿日: 2025年2月27日 作成者: jarxiv

要約

臨界熱流束は、熱伝達と成分の温度と性能への影響により、沸騰システムモデリングの重要な量です。
この研究では、ドライアウトの場合の原子炉の重要な熱流束の予測における機械学習と物理ベースのモデルを組み合わせた不確実性対応ハイブリッドモデリングアプローチの開発と検証を調査します。
2つの実証的相関、バイアシとボウリングは、深いニューラルネットワークアンサンブル、ベイジアンニューラルネットワーク、およびディープガウスプロセスの3つの機械学習の不確実性定量化技術で採用されました。
ベースモデルのない純粋な機械学習モデルは、比較のためのベースラインとして機能しました。
この調査では、パリティプロット、不確実性分布、およびキャリブレーション曲線を使用した、豊富なトレーニングデータシナリオの両方でモデルのパフォーマンスと不確実性を調べます。
結果は、特に豊富なデータシナリオで、Biasiハイブリッドディープニューラルネットワークアンサンブルが最も有利なパフォーマンス（1.846％の平均相対誤差と安定した不確実性推定値）を達成したことを示しています。
ベイジアンニューラルネットワークモデルは、わずかに高い誤差と不確実性を示しましたが、優れたキャリブレーションを示しました。
対照的に、ほとんどのメトリックによってパフォーマンスが低いディープガウスプロセスモデル。
すべてのハイブリッドモデルは、純粋な機械学習構成を上回り、データ不足に対する抵抗を示しています。

要約(オリジナル)

Critical heat flux is a key quantity in boiling system modeling due to its impact on heat transfer and component temperature and performance. This study investigates the development and validation of an uncertainty-aware hybrid modeling approach that combines machine learning with physics-based models in the prediction of critical heat flux in nuclear reactors for cases of dryout. Two empirical correlations, Biasi and Bowring, were employed with three machine learning uncertainty quantification techniques: deep neural network ensembles, Bayesian neural networks, and deep Gaussian processes. A pure machine learning model without a base model served as a baseline for comparison. This study examines the performance and uncertainty of the models under both plentiful and limited training data scenarios using parity plots, uncertainty distributions, and calibration curves. The results indicate that the Biasi hybrid deep neural network ensemble achieved the most favorable performance (with a mean absolute relative error of 1.846% and stable uncertainty estimates), particularly in the plentiful data scenario. The Bayesian neural network models showed slightly higher error and uncertainty but superior calibration. By contrast, deep Gaussian process models underperformed by most metrics. All hybrid models outperformed pure machine learning configurations, demonstrating resistance against data scarcity.

arxiv情報

著者 Aidan Furlong,Xingang Zhao,Robert Salko,Xu Wu
発行日 2025-02-26 17:55:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Physics-Based Hybrid Machine Learning for Critical Heat Flux Prediction with Uncertainty Quantification はコメントを受け付けていません

DataMan: Data Manager for Pre-training Large Language Models

投稿日: 2025年2月27日 作成者: jarxiv

要約

データのスケーリング法則によって駆動される大規模な言語モデル（LLM）のパフォーマンスの出現により、トレーニング前のデータの選択がますます重要になります。
ただし、既存の方法は、限られたヒューリスティックと人間の直感に依存しており、包括的で明確なガイドラインがありません。
これに対処するために、私たちは「リバース思考」に触発されています。どの基準がそのパフォーマンスに役立つかを自己識別するよう促します。
トレーニング前の機能は困惑（PPL）に関連しているため、テキストの困惑の異常の原因から14の品質基準を導き出し、ドメインの混合をサポートする1​​5の共通アプリケーションドメインを導入します。
このホワイトペーパーでは、データマネージャー（Dataman）をトレーニングして、ポイントワイズレーティングから品質評価とドメイン認識を学習し、それを使用して、14の品質評価とドメインタイプの447Bトークン前トレーニングコーパスに注釈を付けます。
私たちの実験は、Datamanを使用して30Bトークンを選択して1.3Bパラメーター言語モデルをトレーニングするためにアプローチを検証し、コンテキスト学習（ICL）、困惑、および最先端のベースラインにわたる指導公開能力の大幅な改善を実証します。
全体的なスコアL = 5に基づく最高のパフォーマンスモデルは、均一なサンプリングを使用して50％のデータでトレーニングされたモデルを上回ります。
ドメイン固有のICLパフォーマンスを強化し、Datamanのドメインの混合能力を検証するために、Datamanによって注釈が付けられた高評価のドメイン固有のデータで事前トレーニングを続けます。
私たちの調査結果は、品質ランキングの重要性、品質基準の補完的な性質、および困惑との相関が低いことを強調し、PPLとICLパフォーマンスの間の不整合を分析します。
また、トレーニング前のデータセットを徹底的に分析し、その構成、品質評価の分布、および元のドキュメントソースを調べました。

要約(オリジナル)

The performance emergence of large language models (LLMs) driven by data scaling laws makes the selection of pre-training data increasingly important. However, existing methods rely on limited heuristics and human intuition, lacking comprehensive and clear guidelines. To address this, we are inspired by “reverse thinking” — prompting LLMs to self-identify which criteria benefit its performance. As its pre-training capabilities are related to perplexity (PPL), we derive 14 quality criteria from the causes of text perplexity anomalies and introduce 15 common application domains to support domain mixing. In this paper, we train a Data Manager (DataMan) to learn quality ratings and domain recognition from pointwise rating, and use it to annotate a 447B token pre-training corpus with 14 quality ratings and domain type. Our experiments validate our approach, using DataMan to select 30B tokens to train a 1.3B-parameter language model, demonstrating significant improvements in in-context learning (ICL), perplexity, and instruction-following ability over the state-of-the-art baseline. The best-performing model, based on the Overall Score l=5 surpasses a model trained with 50% more data using uniform sampling. We continue pre-training with high-rated, domain-specific data annotated by DataMan to enhance domain-specific ICL performance and thus verify DataMan’s domain mixing ability. Our findings emphasize the importance of quality ranking, the complementary nature of quality criteria, and their low correlation with perplexity, analyzing misalignment between PPL and ICL performance. We also thoroughly analyzed our pre-training dataset, examining its composition, the distribution of quality ratings, and the original document sources.

arxiv情報

著者 Ru Peng,Kexin Yang,Yawen Zeng,Junyang Lin,Dayiheng Liu,Junbo Zhao
発行日 2025-02-26 18:01:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | DataMan: Data Manager for Pre-training Large Language Models はコメントを受け付けていません