Refactoring Codebases through Library Design

投稿日: 2025年6月19日 作成者: jarxiv

要約

保守可能で一般的なソフトウェアにより、開発者は堅牢なアプリケーションを効率的に構築できますが、これらの品質を達成するには、多くの場合、特殊なソリューションを再利用可能なコンポーネントにリファクタリングする必要があります。
この課題は、コードエージェントが孤立したプログラミングの問題を解決する際にますます正確になるため、特に関連性があります。
成長と再利用性をサポートする方法でコードをリファクタリングするコードエージェントの能力を調査します。
リファクタリングの方法とベンチマークの両方を提示します。司書、再利用可能なライブラリを生成するためのサンプルと再ランクの方法、およびコードエージェントが複数の独立したソリューションを最小化し、共同ライブラリにリファクタリングする必要があるベンチマークです。
最先端のコードエージェントと比較して、司書はミニコードでの圧縮と正確性の両方で強い結果を達成し、コーディングエージェントよりも1.6〜2倍の圧縮率を得て、正確性を改善します。
https://code-refactor.github.io/でコードとベンチマークをオープンソーシングします。

要約(オリジナル)

Maintainable and general software allows developers to build robust applications efficiently, yet achieving these qualities often requires refactoring specialized solutions into reusable components. This challenge becomes particularly relevant as code agents become increasingly accurate at solving isolated programming problems. We investigate code agents’ capacity to refactor code in ways supporting growth and reusability. We present both a method and a benchmark for refactoring: Librarian, a sample-and-rerank method for generating reusable libraries, and Minicode, a benchmark where code agents must minimize and refactor multiple independent solutions into a joint library. Compared to state-of-the-art code agents, Librarian achieves strong results on both compression and correctness on Minicode, obtaining compression rates 1.6-2x better than coding agents while also improving correctness. We open-source our code and benchmark at https://code-refactor.github.io/.

arxiv情報

著者 Ziga Kovacic,Celine Lee,Justin Chiu,Wenting Zhao,Kevin Ellis
発行日 2025-06-18 16:35:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SE | Refactoring Codebases through Library Design はコメントを受け付けていません

A Novel Perturb-ability Score to Mitigate Evasion Adversarial Attacks on Flow-Based ML-NIDS

投稿日: 2025年6月19日 作成者: jarxiv

要約

ネットワークセキュリティの脅威が進化するにつれて、回避攻撃からのフローベースの機械学習（ML）ベースのネットワーク侵入検知システム（NID）を保護することが重要です。
このホワイトペーパーでは、特徴の概要を頻繁に行うことができるという概念を紹介し、新しいPreturb-ability Score（PS）を提示します。これは、攻撃者による問題空間での操作の影響を受けやすいNIDの特徴を定量化します。
PSは、ネットワークトラフィックフィールドのセマンティクスにより、フローベースのML-NIDの回避攻撃に対して構造的に耐性のある機能を識別します。これらの機能はドメイン固有の制限と相関によって制約されているためです。
したがって、そのような機能を操作しようとすると、攻撃の悪意のある機能を侵害するか、処理のためにトラフィックが無効になるか、両方の結果を同時に潜在的に行う可能性があります。
フローベースのNIDレジリエンスを強化する際に、PS対応防御、PSガイド機能の選択、PSガイド機能マスキングの有効性を紹介および実証します。
さまざまなMLベースのNIDモデルとパブリックデータセットにわたる実験結果は、非常に操作不可能な機能（高PS機能）を破棄またはマスキングすることで固体検出性能を維持しながら、敵対的攻撃に対する脆弱性を大幅に減らすことができることを示しています。
私たちの調査結果は、PSがフローベースのNIDが問題空間摂動に影響を受けやすい機能を効果的に識別することを確認しています。
この新しいアプローチは、流れベースのML-NIDを対象とする回避敵対攻撃に対する軽量の普遍的な防御メカニズムとして、問題空間NIDドメインの制約を活用します。

要約(オリジナル)

As network security threats evolve, safeguarding flow-based Machine Learning (ML)-based Network Intrusion Detection Systems (NIDS) from evasion adversarial attacks is crucial. This paper introduces the notion of feature perturb-ability and presents a novel Perturb-ability Score (PS), which quantifies how susceptible NIDS features are to manipulation in the problem-space by an attacker. PS thereby identifies features structurally resistant to evasion attacks in flow-based ML-NIDS due to the semantics of network traffic fields, as these features are constrained by domain-specific limitations and correlations. Consequently, attempts to manipulate such features would likely either compromise the attack’s malicious functionality, render the traffic invalid for processing, or potentially both outcomes simultaneously. We introduce and demonstrate the effectiveness of our PS-enabled defenses, PS-guided feature selection and PS-guided feature masking, in enhancing flow-based NIDS resilience. Experimental results across various ML-based NIDS models and public datasets show that discarding or masking highly manipulatable features (high-PS features) can maintain solid detection performance while significantly reducing vulnerability to evasion adversarial attacks. Our findings confirm that PS effectively identifies flow-based NIDS features susceptible to problem-space perturbations. This novel approach leverages problem-space NIDS domain constraints as lightweight universal defense mechanisms against evasion adversarial attacks targeting flow-based ML-NIDS.

arxiv情報

著者 Mohamed elShehaby,Ashraf Matrawy
発行日 2025-06-18 16:35:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | A Novel Perturb-ability Score to Mitigate Evasion Adversarial Attacks on Flow-Based ML-NIDS はコメントを受け付けていません

Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning

投稿日: 2025年6月19日 作成者: jarxiv

要約

多様な大手言語モデル（LLMS）の急速な出現により、ユーザークエリを最も適切なモデルに割り当てるLLMルーターの開発が促進されました。
ただし、既存のLLMルーターは通常、単一ラウンドの1対1マッピング（\ textit {i.e。}、各クエリを単一モデルに割り当てて単一モデルに割り当てます）を実行します。
このホワイトペーパーでは、マルチLORMルーティングと集約を順次決定プロセスとして定式化する強化学習（RL）ベースのフレームワークである\ textBf {router-r1}を提示します。
Router-R1は、ルーター自体を有能なLLMとしてインスタンス化し、「ルート」アクション（動的モデルの呼び出し）と「Think」アクション（内部審議）をインターリーブする推論能力を活用し、各応答を進化するコンテキストに統合します。
学習を促進するために、フォーマットの報酬、最終的な結果の報酬、パフォーマンスとコストのバランスを最適化するための新しいコスト報酬を含む軽量ルールベースの報酬を採用し、RLを介したパフォーマンスコストのトレードオフを強化するための経路を開きます。
Router-R1は、価格設定、遅延、パフォーマンスの例などの単純なモデル記述子のみを条件とし、目に見えないモデル選択に強力な一般化を可能にします。
7つの一般的およびマルチホップQAベンチマークでの実験は、Router-R1がいくつかの強力なベースラインを上回り、堅牢な一般化とコスト管理を維持しながら優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

The rapid emergence of diverse large language models (LLMs) has spurred the development of LLM routers that assign user queries to the most suitable model. However, existing LLM routers typically perform a single-round, one-to-one mapping (\textit{i.e.}, assigning each query to a single model in isolation), which limits their capability to tackle complex tasks that demand the complementary strengths of multiple LLMs. In this paper, we present \textbf{Router-R1}, a reinforcement learning (RL)-based framework that formulates multi-LLM routing and aggregation as a sequential decision process. Router-R1 instantiates the router itself as a capable LLM, leveraging its reasoning ability to interleave ‘think’ actions (internal deliberation) with ‘route’ actions (dynamic model invocation), and integrates each response into its evolving context. To facilitate learning, we employ a lightweight rule-based reward comprising format rewards, final outcome rewards, and a novel cost reward for optimizing the balance between performance and cost, opening a pathway toward enhancing performance-cost trade-offs via RL. Router-R1 also conditions only on simple model descriptors such as pricing, latency, and example performance, enabling strong generalization to unseen model selection. Experiments on seven general and multi-hop QA benchmarks show that Router-R1 outperforms several strong baselines, achieving superior performance while maintaining robust generalization and cost management.

arxiv情報

著者 Haozhen Zhang,Tao Feng,Jiaxuan You
発行日 2025-06-18 16:49:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Router-R1: Teaching LLMs Multi-Round Routing and Aggregation via Reinforcement Learning はコメントを受け付けていません

The Compositional Architecture of Regret in Large Language Models

投稿日: 2025年6月19日 作成者: jarxiv

要約

大規模な言語モデルでの後悔とは、以前に生成された誤った情報と矛盾する証拠が提示された場合の明示的な後悔の表現を指します。
後悔のメカニズムを研究することは、モデルの信頼性を高めるために重要であり、ニューラルネットワークで認知がどのようにコーディングされるかを明らかにするのに役立ちます。
このメカニズムを理解するには、まずモデル出力の後悔式を特定し、その内部表現を分析する必要があります。
この分析では、ニューロンレベルで情報処理が発生するモデルの隠された状態を調べる必要があります。
ただし、これは3つの重要な課題に直面しています。（1）後悔の表現をキャプチャする専門データセットの欠如、（2）最適な後悔の表現層を見つけるためのメトリックの欠如、および（3）後悔ニューロンを識別および分析するためのメトリックの欠如。
これらの制限に対処すると、（1）戦略的に設計されたプロンプトシナリオを介して包括的な後悔データセットを構築するためのワークフロー、（2）監視された圧縮分解インデックス（S-CDI）メトリックを識別して最適な後悔の表現層を識別し、（3）後悔の支配スコア（RDS）メトリックを識別するための後悔の影響を特定する（RDS）。
実験結果は、S-CDIメトリックを使用して最適な後悔表現層を正常に特定し、プローブ分類実験のパフォーマンスを大幅に向上させました。
さらに、モデルレイヤー全体にM字型のデカップリングパターンを発見し、カップリングとデカップリングフェーズの間で情報処理がどのように交互になるかを明らかにしました。
RDSメトリックを介して、ニューロンを3つの異なる官能グループに分類しました：後悔ニューロン、非レグレットニューロン、およびデュアルニューロン。

要約(オリジナル)

Regret in Large Language Models refers to their explicit regret expression when presented with evidence contradicting their previously generated misinformation. Studying the regret mechanism is crucial for enhancing model reliability and helps in revealing how cognition is coded in neural networks. To understand this mechanism, we need to first identify regret expressions in model outputs, then analyze their internal representation. This analysis requires examining the model’s hidden states, where information processing occurs at the neuron level. However, this faces three key challenges: (1) the absence of specialized datasets capturing regret expressions, (2) the lack of metrics to find the optimal regret representation layer, and (3) the lack of metrics for identifying and analyzing regret neurons. Addressing these limitations, we propose: (1) a workflow for constructing a comprehensive regret dataset through strategically designed prompting scenarios, (2) the Supervised Compression-Decoupling Index (S-CDI) metric to identify optimal regret representation layers, and (3) the Regret Dominance Score (RDS) metric to identify regret neurons and the Group Impact Coefficient (GIC) to analyze activation patterns. Our experimental results successfully identified the optimal regret representation layer using the S-CDI metric, which significantly enhanced performance in probe classification experiments. Additionally, we discovered an M-shaped decoupling pattern across model layers, revealing how information processing alternates between coupling and decoupling phases. Through the RDS metric, we categorized neurons into three distinct functional groups: regret neurons, non-regret neurons, and dual neurons.

arxiv情報

著者 Xiangxiang Cui,Shu Yang,Tianjin Huang,Wanyu Lin,Lijie Hu,Di Wang
発行日 2025-06-18 16:50:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | The Compositional Architecture of Regret in Large Language Models はコメントを受け付けていません

GFLC: Graph-based Fairness-aware Label Correction for Fair Classification

投稿日: 2025年6月19日 作成者: jarxiv

要約

機械学習（ML）の公平性は、人工知能（AI）システムがヘルスケアの決定や法的判断など、社会のさまざまな側面にますます影響を与えるため、信頼できる機械学習システムを構築するために非常に重要です。
さらに、多くの研究が、MLの不公平な結果の証拠と、より堅牢な公平性を意識する方法の必要性を示しています。
ただし、ディビアージングテクニックをトレーニングおよび開発するために使用するデータには、多くの場合、偏ったラベルとノイズの多いラベルが含まれています。
その結果、トレーニングデータのラベルバイアスはモデルのパフォーマンスに影響し、テスト中の分類器の公平性を誤って伝えます。
この問題に取り組むために、私たちの論文は、データセットで人口統計パリティを維持しながらラベルノイズを修正するための効率的な方法であるグラフベースの公平性ラベル補正（GFLC）を提示します。
特に、私たちのアプローチは、3つの重要なコンポーネントを組み合わせています。予測信頼測定、Ricci-flow-Optimized Graph Laplaciansによるグラフベースの正規化、および明示的な人口統計パリティインセンティブです。
私たちの実験的調査結果は、提案されたアプローチの有効性を示し、ベースラインと比較したパフォーマンスと公平性メトリックのトレードオフの大幅な改善を示しています。

要約(オリジナル)

Fairness in machine learning (ML) has a critical importance for building trustworthy machine learning system as artificial intelligence (AI) systems increasingly impact various aspects of society, including healthcare decisions and legal judgments. Moreover, numerous studies demonstrate evidence of unfair outcomes in ML and the need for more robust fairness-aware methods. However, the data we use to train and develop debiasing techniques often contains biased and noisy labels. As a result, the label bias in the training data affects model performance and misrepresents the fairness of classifiers during testing. To tackle this problem, our paper presents Graph-based Fairness-aware Label Correction (GFLC), an efficient method for correcting label noise while preserving demographic parity in datasets. In particular, our approach combines three key components: prediction confidence measure, graph-based regularization through Ricci-flow-optimized graph Laplacians, and explicit demographic parity incentives. Our experimental findings show the effectiveness of our proposed approach and show significant improvements in the trade-off between performance and fairness metrics compared to the baseline.

arxiv情報

著者 Modar Sulaiman,Kallol Roy
発行日 2025-06-18 16:51:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | GFLC: Graph-based Fairness-aware Label Correction for Fair Classification はコメントを受け付けていません

The Effect of State Representation on LLM Agent Behavior in Dynamic Routing Games

投稿日: 2025年6月19日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、動的な設定で意思決定者として有望であることを示していますが、それらの無国籍性は歴史の自然言語表現を作成する必要があります。
繰り返されるマルチエージェントゲームでLLMエージェントを促すための自然言語「状態」表現を体系的に構築するための統一フレームワークを提示します。
LLMエージェントとのゲームに関する以前の作業は、ゲームの履歴をエンコードするためのアドホックなアプローチを採用しています。これは、エージェントの行動に対する状態表現の影響を曖昧にするだけでなく、研究間の比較可能性を制限します。
私たちのフレームワークは、3つの軸に沿った状態表現の方法を特徴付けることにより、これらのギャップに対処します。アクション情報性（つまり、状態表現が再生されるアクションをキャプチャする程度）。
報酬情報性（つまり、国家表現が得られた報酬を説明する程度）;
スタイルを促す（または自然言語の圧縮、つまり全文履歴が要約される程度）。
このフレームワークは、理論と人間の被験者実験の両方で単純な平衡を認めているために選択されたダイナミックな利己的なルーティングゲームに適用します\ Cite {rapoport_choice_2009}。
ゲームの比較的単純さにもかかわらず、LLMエージェントの行動には自然言語の状態表現に重要な依存関係があることがわかります。
特に、エージェントに（1）過去の歴史の完全な自然言語表現を要約されたものを提供する表現が観察します。
（2）生の見返りではなく、後悔に関する情報。
（3）他者の行動に関する限られた情報は、ゲームの理論的平衡予測とより密接に一致する行動につながり、エージェントによるより安定したゲームプレイにより、行動につながります。
対照的に、他の表現は、平衡からの大きな偏差、時間の経過に伴う動的ゲームプレイのより高い変動、またはその両方を示すことができます。

要約(オリジナル)

Large Language Models (LLMs) have shown promise as decision-makers in dynamic settings, but their stateless nature necessitates creating a natural language representation of history. We present a unifying framework for systematically constructing natural language ‘state’ representations for prompting LLM agents in repeated multi-agent games. Previous work on games with LLM agents has taken an ad hoc approach to encoding game history, which not only obscures the impact of state representation on agents’ behavior, but also limits comparability between studies. Our framework addresses these gaps by characterizing methods of state representation along three axes: action informativeness (i.e., the extent to which the state representation captures actions played); reward informativeness (i.e., the extent to which the state representation describes rewards obtained); and prompting style (or natural language compression, i.e., the extent to which the full text history is summarized). We apply this framework to a dynamic selfish routing game, chosen because it admits a simple equilibrium both in theory and in human subject experiments \cite{rapoport_choice_2009}. Despite the game’s relative simplicity, we find that there are key dependencies of LLM agent behavior on the natural language state representation. In particular, we observe that representations which provide agents with (1) summarized, rather than complete, natural language representations of past history; (2) information about regrets, rather than raw payoffs; and (3) limited information about others’ actions lead to behavior that more closely matches game theoretic equilibrium predictions, and with more stable game play by the agents. By contrast, other representations can exhibit either large deviations from equilibrium, higher variation in dynamic game play over time, or both.

arxiv情報

著者 Lyle Goodyear,Rachel Guo,Ramesh Johari
発行日 2025-06-18 16:53:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, F.2.2 | The Effect of State Representation on LLM Agent Behavior in Dynamic Routing Games はコメントを受け付けていません

Federated Learning for MRI-based BrainAGE: a multicenter study on post-stroke functional outcome prediction

投稿日: 2025年6月19日 作成者: jarxiv

要約

$ \ textbf {目的：} $脳予測年齢差（Brainage）は、脳の健康を反映するニューロイメージングバイオマーカーです。
ただし、堅牢なBrainageモデルのトレーニングには、プライバシーの懸念によって制限されることが多い大規模なデータセットが必要です。
この研究では、機械的血栓摘出術で治療された虚血脳卒中患者における脳脳脳脳推定のためのフェデレーション学習（FL）のパフォーマンスを評価し、臨床表現型および機能的結果との関連を調査します。
$ \ textbf {メソッド：} $ 16の病院センターで1674の脳卒中患者からのFlair Brain画像を使用しました。
3つのデータ管理戦略の下で、頭脳の推定値のための標準の機械学習とディープラーニングモデルを実装しました：集中学習（プールデータ）、FL（各サイトでのローカルトレーニング）、およびシングルサイト学習。
予測エラーを報告し、脳と血管の危険因子（例えば、糖尿病、高血圧、喫煙）の間の関連性、および脳卒中後3か月での機能的結果を調べました。
ロジスティック回帰は、これらの結果に対するBrainageの予測値を評価し、年齢、性別、血管リスク因子、脳卒中の重症度、MRIと動脈穿刺間の時間、以前の静脈内血栓溶解、および再分析の結果を評価しました。
$ \ textbf {results：} $集中学習は最も正確な予測をもたらしましたが、FLは一貫してシングルサイトモデルを上回りました。
ブレインは、すべてのモデルで糖尿病患者で有意に高かった。
機能的結果と不良の患者の比較、およびこれらの結果の多変量予測は、頭脳と脳卒中後の回復との関連の重要性を示しました。
$ \ textbf {結論：} $ flは、データ集中化なしで正確な年齢予測を有効にします。
頭脳、血管リスク因子、および脳卒中後の回復との強い関連性は、脳卒中ケアにおける予後モデリングの可能性を強調しています。

要約(オリジナル)

$\textbf{Objective:}$ Brain-predicted age difference (BrainAGE) is a neuroimaging biomarker reflecting brain health. However, training robust BrainAGE models requires large datasets, often restricted by privacy concerns. This study evaluates the performance of federated learning (FL) for BrainAGE estimation in ischemic stroke patients treated with mechanical thrombectomy, and investigates its association with clinical phenotypes and functional outcomes. $\textbf{Methods:}$ We used FLAIR brain images from 1674 stroke patients across 16 hospital centers. We implemented standard machine learning and deep learning models for BrainAGE estimates under three data management strategies: centralized learning (pooled data), FL (local training at each site), and single-site learning. We reported prediction errors and examined associations between BrainAGE and vascular risk factors (e.g., diabetes mellitus, hypertension, smoking), as well as functional outcomes at three months post-stroke. Logistic regression evaluated BrainAGE’s predictive value for these outcomes, adjusting for age, sex, vascular risk factors, stroke severity, time between MRI and arterial puncture, prior intravenous thrombolysis, and recanalisation outcome. $\textbf{Results:}$ While centralized learning yielded the most accurate predictions, FL consistently outperformed single-site models. BrainAGE was significantly higher in patients with diabetes mellitus across all models. Comparisons between patients with good and poor functional outcomes, and multivariate predictions of these outcomes showed the significance of the association between BrainAGE and post-stroke recovery. $\textbf{Conclusion:}$ FL enables accurate age predictions without data centralization. The strong association between BrainAGE, vascular risk factors, and post-stroke recovery highlights its potential for prognostic modeling in stroke care.

arxiv情報

著者 Vincent Roca,Marc Tommasi,Paul Andrey,Aurélien Bellet,Markus D. Schirmer,Hilde Henon,Laurent Puy,Julien Ramon,Grégory Kuchcinski,Martin Bretzner,Renaud Lopes
発行日 2025-06-18 16:56:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DC, cs.LG | Federated Learning for MRI-based BrainAGE: a multicenter study on post-stroke functional outcome prediction はコメントを受け付けていません

J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization

投稿日: 2025年6月19日 作成者: jarxiv

要約

大規模な言語モデル（LLM）開発のペースの増加に対応するために、モデルの出力評価は、LLM自体が他のモデル出力の評価と批判を担当する自動評価に至るまで、時間のかかる人間の評価から離れて移行しました。
LLM-As-Judgeモデルは、チャットの品質などの比較的単純なドメインを評価するのに優れている生成評価者のクラスですが、モデル応答がより実質的で挑戦的なコンテンツを含む集中的なドメインを推論するのに苦労しています。
既存の裁判官の欠点を改善するために、補強学習（RL）で訓練裁判官を探求します。
3つの重要な貢献をします。（1）同等の初期状態グループ相対政策最適化（EIS-GRPO）アルゴリズムを提案します。これにより、より複雑な評価設定で発生する位置バイアスに堅牢であるように裁判官を訓練できます。
（2）ReasonIngJudgeBenchを紹介します。これは、以前の作業でカバーされていない多様な推論設定で裁判官を評価するベンチマークです。
（3）GPT-4Oを上回るEIS-GRPOで訓練された7Bの裁判官であり、次の最高の小さな裁判官を6.7％と9％で訓練し、Judgent-BenchとReasoningJudgeBenchの両方で大規模なGRPO訓練を受けた裁判官のパフォーマンスを一致させるか、それを超える7Bの裁判官を訓練します。

要約(オリジナル)

To keep pace with the increasing pace of large language models (LLM) development, model output evaluation has transitioned away from time-consuming human evaluation to automatic evaluation, where LLMs themselves are tasked with assessing and critiquing other model outputs. LLM-as-judge models are a class of generative evaluators that excel in evaluating relatively simple domains, like chat quality, but struggle in reasoning intensive domains where model responses contain more substantive and challenging content. To remedy existing judge shortcomings, we explore training judges with reinforcement learning (RL). We make three key contributions: (1) We propose the Equivalent Initial State Group Relative Policy Optimization (EIS-GRPO) algorithm, which allows us to train our judge to be robust to positional biases that arise in more complex evaluation settings. (2) We introduce ReasoningJudgeBench, a benchmark that evaluates judges in diverse reasoning settings not covered by prior work. (3) We train Judge for Reasoning (J4R), a 7B judge trained with EIS-GRPO that outperforms GPT-4o and the next best small judge by 6.7% and 9%, matching or exceeding the performance of larger GRPO-trained judges on both JudgeBench and ReasoningJudgeBench.

arxiv情報

著者 Austin Xu,Yilun Zhou,Xuan-Phi Nguyen,Caiming Xiong,Shafiq Joty
発行日 2025-06-18 16:58:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization はコメントを受け付けていません

Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability

投稿日: 2025年6月19日 作成者: jarxiv

要約

Commongenなどの生成的なCommonsense推論タスクでは、生成大規模な言語モデル（LLM）が、与えられたすべての概念を含む文章を作成します。
ただし、命令に従う機能に焦点を当てる場合、プロンプトがコンセプトの順序を指定する場合、LLMSは指定された順序に付着する文を生成する必要があります。
これに対処するために、LLMSの構成一般化と指導公開能力を評価するために設計されたベンチマークであるOrder Commongenを提案します。
このベンチマーク測定では、概念が指定された順序で生成されるかどうかを評価するために順序付けられたカバレッジを測定し、両方の能力の同時評価を可能にしました。
36 LLMを使用して包括的な分析を実施しましたが、LLMは一般に指示の意図を理解していますが、特定の概念の順序パターンに対するバイアスは、概念の順序が変更された場合でも低ダイバーシティの出力または同一の結果につながることが多いことを発見しました。
さらに、最も命令に準拠したLLMでさえ、約75％の注文されたカバレッジのみを達成し、命令に従ったものと構成一般化機能の両方の改善の必要性を強調しました。

要約(オリジナル)

In generative commonsense reasoning tasks such as CommonGen, generative large language models (LLMs) compose sentences that include all given concepts. However, when focusing on instruction-following capabilities, if a prompt specifies a concept order, LLMs must generate sentences that adhere to the specified order. To address this, we propose Ordered CommonGen, a benchmark designed to evaluate the compositional generalization and instruction-following abilities of LLMs. This benchmark measures ordered coverage to assess whether concepts are generated in the specified order, enabling a simultaneous evaluation of both abilities. We conducted a comprehensive analysis using 36 LLMs and found that, while LLMs generally understand the intent of instructions, biases toward specific concept order patterns often lead to low-diversity outputs or identical results even when the concept order is altered. Moreover, even the most instruction-compliant LLM achieved only about 75% ordered coverage, highlighting the need for improvements in both instruction-following and compositional generalization capabilities.

arxiv情報

著者 Yusuke Sakai,Hidetaka Kamigaito,Taro Watanabe
発行日 2025-06-18 17:00:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability はコメントを受け付けていません

The AI Policy Module: Developing Computer Science Student Competency in AI Ethics and Policy

投稿日: 2025年6月19日 作成者: jarxiv

要約

人工知能（AI）は、個人的および専門的な文脈にわたって多くの設定にさらに埋め込まれているため、AI倫理だけでなく、AIポリシーを通じてAIテクノロジーのガバナンスと規制にも注意を払う必要があります。
ただし、一般的な中等後のコンピューティングカリキュラムは、現在、将来のAI実践者がAIシステムの設計と開発に抽象的な倫理原則と規範的政策選好を実装するためのますます要求に立ち向かう準備を整えていない。
「AIポリシーの状況」と倫理原則を実践に翻訳する能力に精通していることは、将来、最も技術的に焦点を当てたAIエンジニアでさえも重要な責任となると考えています。
これらの新しい期待のために現在のコンピューターサイエンス（CS）の学生を準備するために、AIポリシーモジュールを開発し、AIポリシーの議論をCSカリキュラムに紹介しました。
2024年秋に成功したパイロットに基づいて、この革新的な練習では、「AI規制」に関する技術的な割り当てを含む、更新および拡張されたバージョンのモジュールを紹介します。
AIポリシーモジュール2.0のパイロットからの調査結果を提示し、モジュール前およびポストモジュールの調査を通じてAI倫理と政策に対する学生の態度を評価します。
モジュールに続いて、学生はAI技術の倫理的影響に関する懸念の高まりを報告し、AI規制に関する議論に従事する能力に対するより大きな自信を表明しました。
最後に、AIの調整の限界を調査し、倫理的課題に対処する際の「政策」の役割を強調するための効果的かつ魅力的なツールとしてAI規制の割り当てを強調します。

要約(オリジナル)

As artificial intelligence (AI) further embeds itself into many settings across personal and professional contexts, increasing attention must be paid not only to AI ethics, but also to the governance and regulation of AI technologies through AI policy. However, the prevailing post-secondary computing curriculum is currently ill-equipped to prepare future AI practitioners to confront increasing demands to implement abstract ethical principles and normative policy preferences into the design and development of AI systems. We believe that familiarity with the ‘AI policy landscape’ and the ability to translate ethical principles to practices will in the future constitute an important responsibility for even the most technically-focused AI engineers. Toward preparing current computer science (CS) students for these new expectations, we developed an AI Policy Module to introduce discussions of AI policy into the CS curriculum. Building on a successful pilot in fall 2024, in this innovative practice full paper we present an updated and expanded version of the module, including a technical assignment on ‘AI regulation’. We present the findings from our pilot of the AI Policy Module 2.0, evaluating student attitudes towards AI ethics and policy through pre- and post-module surveys. Following the module, students reported increased concern about the ethical impacts of AI technologies while also expressing greater confidence in their abilities to engage in discussions about AI regulation. Finally, we highlight the AI Regulation Assignment as an effective and engaging tool for exploring the limits of AI alignment and emphasizing the role of ‘policy’ in addressing ethical challenges.

arxiv情報

著者 James Weichert,Daniel Dunlap,Mohammed Farghally,Hoda Eldardiry
発行日 2025-06-18 17:09:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | The AI Policy Module: Developing Computer Science Student Competency in AI Ethics and Policy はコメントを受け付けていません