Rethinking Evaluation of Sparse Autoencoders through the Representation of Polysemous Words

投稿日: 2025年2月19日 作成者: jarxiv

要約

スパース自動エンコーダー（SAE）は、多言語ニューロンの複雑な重ね合わせを単語諸島の特徴にマッピングし、単語のまばらな辞書を構成することにより、大規模な言語モデル（LLM）の解釈可能性を改善するための有望なツールとして多くの注目を集めています。
ただし、平均四角エラーやL0スパースのような従来のパフォーマンスメトリックは、SAEのセマンティックな表現力の評価を無視します – 単語の意味関係を維持しながら、解釈可能な単一大量の特徴を獲得できるかどうか。
たとえば、学習したスパース機能が1つの単語で異なる意味を区別できるかどうかは明らかではありません。
この論文では、Polysemousの単語に焦点を当てることにより、SAEが単調な特徴の品質を分析するための一連の評価を提案します。
私たちの発見は、MSE-L0パレートフロンティアを改善するために開発されたSAEが解釈可能性を混乱させる可能性があることを明らかにしています。
Polysemousの単語を使用したSAEの分析は、LLMの内部メカニズムも把握できます。
より深いレイヤーと注意モジュールは、単語での識別ポリセミーの貢献に貢献します。
私たちのセマンティクスに焦点を当てた評価は、多義性と既存のSAEの目的に関する新しい洞察を提供し、より実用的なSAEの開発に貢献しています。

要約(オリジナル)

Sparse autoencoders (SAEs) have gained a lot of attention as a promising tool to improve the interpretability of large language models (LLMs) by mapping the complex superposition of polysemantic neurons into monosemantic features and composing a sparse dictionary of words. However, traditional performance metrics like Mean Squared Error and L0 sparsity ignore the evaluation of the semantic representational power of SAEs — whether they can acquire interpretable monosemantic features while preserving the semantic relationship of words. For instance, it is not obvious whether a learned sparse feature could distinguish different meanings in one word. In this paper, we propose a suite of evaluations for SAEs to analyze the quality of monosemantic features by focusing on polysemous words. Our findings reveal that SAEs developed to improve the MSE-L0 Pareto frontier may confuse interpretability, which does not necessarily enhance the extraction of monosemantic features. The analysis of SAEs with polysemous words can also figure out the internal mechanism of LLMs; deeper layers and the Attention module contribute to distinguishing polysemy in a word. Our semantics focused evaluation offers new insights into the polysemy and the existing SAE objective and contributes to the development of more practical SAEs.

arxiv情報

著者 Gouki Minegishi,Hiroki Furuta,Yusuke Iwasawa,Yutaka Matsuo
発行日 2025-02-18 17:10:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Rethinking Evaluation of Sparse Autoencoders through the Representation of Polysemous Words はコメントを受け付けていません

Interactive Agents to Overcome Ambiguity in Software Engineering

投稿日: 2025年2月19日 作成者: jarxiv

要約

AIエージェントは、多くの場合、曖昧で想定されていないユーザー命令に基づいて、タスクを自動化するためにますます展開されています。
不当な仮定を行い、明確な質問をしないと、最適ではない結果、ツールの誤用による安全リスク、および計算リソースの無駄につながる可能性があります。
この作業では、3つの重要なステップでパフォーマンスに関する独自およびオープンウェイトモデルを評価することにより、LLMエージェントがインタラクティブコード生成設定の曖昧な指示を処理する能力を研究します。
）あいまいさを検出し、（c）ターゲットを絞った質問をする。
私たちの調査結果は、モデルが明確に指定されており、統一されていない指示を区別するのに苦労していることを明らかにしています。
ただし、モデルが不足している入力に対して相互作用すると、ユーザーから重要な情報を効果的に取得し、パフォーマンスの大幅な改善と効果的な相互作用の価値を強調します。
私たちの研究は、現在の最新モデルが複雑なソフトウェアエンジニアリングのタスクのあいまいさをどのように処理するかについての重要なギャップを強調し、ターゲットの改善を可能にするために評価を明確なステップに構造化します。

要約(オリジナル)

AI agents are increasingly being deployed to automate tasks, often based on ambiguous and underspecified user instructions. Making unwarranted assumptions and failing to ask clarifying questions can lead to suboptimal outcomes, safety risks due to tool misuse, and wasted computational resources. In this work, we study the ability of LLM agents to handle ambiguous instructions in interactive code generation settings by evaluating proprietary and open-weight models on their performance across three key steps: (a) leveraging interactivity to improve performance in ambiguous scenarios, (b) detecting ambiguity, and (c) asking targeted questions. Our findings reveal that models struggle to distinguish between well-specified and underspecified instructions. However, when models interact for underspecified inputs, they effectively obtain vital information from the user, leading to significant improvements in performance and underscoring the value of effective interaction. Our study highlights critical gaps in how current state-of-the-art models handle ambiguity in complex software engineering tasks and structures the evaluation into distinct steps to enable targeted improvements.

arxiv情報

著者 Sanidhya Vijayvargiya,Xuhui Zhou,Akhila Yerukola,Maarten Sap,Graham Neubig
発行日 2025-02-18 17:12:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Interactive Agents to Overcome Ambiguity in Software Engineering はコメントを受け付けていません

Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization

投稿日: 2025年2月19日 作成者: jarxiv

要約

人間のフィードバック（RLHF）からの強化学習などの言語モデルの調整方法は、言語モデルの能力の印象的な進歩をもたらしましたが、表現モデルの品質がアライメントのコースで低下する過剰な最適化として知られる広く観察された現象によって制限されています
プロセス。
モデルはオフラインの報酬モデルに関してパフォーマンスを最適化するため、不正確さに覆われ、データでカバーされている好ましい応答から離れます。
このような分布シフトを思いとどまらせるために、KL正規化は既存のオフラインアライメント方法で広く採用されていますが、過剰な最適化はパフォーマンスに害を及ぼし続けています。
これらの経験的観察の原因に対する理論的洞察を貸し出し、最初にKLの正規化が過剰適合を防ぐには弱すぎることを示し、次に次の質問を提起します。
この質問は、オフラインアライメントのための新しいアルゴリズム、$ \ chi^2 $ -preference Optimization（$ \ chi $ po）で対処します。
$ \ chi $ poは、直接優先最適化への1行の変更（DPO; Rafailov et al。、2023）であり、DPO目標の対数リンク関数の変更のみを伴います。
この最小限の変化にもかかわらず、$ \ chi $ poは、$ \ chi^2 $ divergenceとの正規化による不確実性に直面して、不確実性に直面して悲観主義の原理を暗黙的に実装します。
、シングルポリシーの濃度に基づいたサンプル複合保証を達成します – オフライン強化学習におけるゴールドスタンダード。
$ \ chi $ POのシンプルさと強力な保証により、過剰な最適化に堅牢になることが証明された最初の実用的で汎用のオフラインアライメントアルゴリズムになります。

要約(オリジナル)

Language model alignment methods such as reinforcement learning from human feedback (RLHF) have led to impressive advances in language model capabilities, but are limited by a widely observed phenomenon known as overoptimization, where the quality of the language model degrades over the course of the alignment process. As the model optimizes performance with respect to an offline reward model, it overfits to inaccuracies and drifts away from preferred responses covered by the data. To discourage such distribution shift, KL-regularization is widely employed in existing offline alignment methods, but overoptimization continues to harm performance. Lending theoretical insight into the source of these empirical observations, we first show that the KL-regularization is too weak to prevent overfitting, then raise the following question: is it possible to design an efficient algorithm that is provably robust to overoptimization? We address this question with a new algorithm for offline alignment, $\chi^2$-Preference Optimization ($\chi$PO). $\chi$PO is a one-line change to Direct Preference Optimization (DPO; Rafailov et al., 2023), which only involves modifying the logarithmic link function in the DPO objective. Despite this minimal change, $\chi$PO implicitly implements the principle of pessimism in the face of uncertainty via regularization with the $\chi^2$-divergence — which quantifies uncertainty more effectively than KL-regularization — and provably alleviates overoptimization, achieving sample-complexity guarantees based on single-policy concentrability — the gold standard in offline reinforcement learning. $\chi$PO’s simplicity and strong guarantees make it the first practical and general-purpose offline alignment algorithm that is provably robust to overoptimization.

arxiv情報

著者 Audrey Huang,Wenhao Zhan,Tengyang Xie,Jason D. Lee,Wen Sun,Akshay Krishnamurthy,Dylan J. Foster
発行日 2025-02-18 17:16:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization はコメントを受け付けていません

DeepSeek-V3 Technical Report

投稿日: 2025年2月19日 作成者: jarxiv

要約

deepseek-v3は、各トークンに対して37bがアクティブ化された合計パラメーターを持つ671bの合計パラメーターを備えた強力な混合物（MOE）言語モデルです。
効率的な推論と費用対効果の高いトレーニングを実現するために、DeepSeek-V3は、DeepSeek-V2で徹底的に検証されたマルチヘッド潜在注意（MLA）とDeepSeekmoeアーキテクチャを採用しています。
さらに、DeepSeek-V3の先駆者は、負荷分散のための補助損失のない戦略を開拓し、パフォーマンスを強化するためのマルチトークン予測トレーニング目標を設定します。
14.8兆個の多様で高品質のトークンでdeepseek-V3を事前に訓練し、その後、その能力を完全に活用するために、監視された微調整および強化学習段階が続きます。
包括的な評価により、DeepSeek-V3は他のオープンソースモデルよりも優れており、主要なクローズドソースモデルに匹敵するパフォーマンスを達成することが明らかになりました。
優れたパフォーマンスにもかかわらず、DeepSeek-V3は完全なトレーニングには2.788m H800 GPU時間しか必要ありません。
さらに、そのトレーニングプロセスは非常に安定しています。
トレーニングプロセス全体を通して、回復不能な損失のスパイクを経験したり、ロールバックを実行したりしませんでした。
モデルチェックポイントは、https：//github.com/deepseek-ai/deepseek-v3で入手できます。

要約(オリジナル)

We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token. To achieve efficient inference and cost-effective training, DeepSeek-V3 adopts Multi-head Latent Attention (MLA) and DeepSeekMoE architectures, which were thoroughly validated in DeepSeek-V2. Furthermore, DeepSeek-V3 pioneers an auxiliary-loss-free strategy for load balancing and sets a multi-token prediction training objective for stronger performance. We pre-train DeepSeek-V3 on 14.8 trillion diverse and high-quality tokens, followed by Supervised Fine-Tuning and Reinforcement Learning stages to fully harness its capabilities. Comprehensive evaluations reveal that DeepSeek-V3 outperforms other open-source models and achieves performance comparable to leading closed-source models. Despite its excellent performance, DeepSeek-V3 requires only 2.788M H800 GPU hours for its full training. In addition, its training process is remarkably stable. Throughout the entire training process, we did not experience any irrecoverable loss spikes or perform any rollbacks. The model checkpoints are available at https://github.com/deepseek-ai/DeepSeek-V3.

arxiv情報

著者 DeepSeek-AI,Aixin Liu,Bei Feng,Bing Xue,Bingxuan Wang,Bochao Wu,Chengda Lu,Chenggang Zhao,Chengqi Deng,Chenyu Zhang,Chong Ruan,Damai Dai,Daya Guo,Dejian Yang,Deli Chen,Dongjie Ji,Erhang Li,Fangyun Lin,Fucong Dai,Fuli Luo,Guangbo Hao,Guanting Chen,Guowei Li,H. Zhang,Han Bao,Hanwei Xu,Haocheng Wang,Haowei Zhang,Honghui Ding,Huajian Xin,Huazuo Gao,Hui Li,Hui Qu,J. L. Cai,Jian Liang,Jianzhong Guo,Jiaqi Ni,Jiashi Li,Jiawei Wang,Jin Chen,Jingchang Chen,Jingyang Yuan,Junjie Qiu,Junlong Li,Junxiao Song,Kai Dong,Kai Hu,Kaige Gao,Kang Guan,Kexin Huang,Kuai Yu,Lean Wang,Lecong Zhang,Lei Xu,Leyi Xia,Liang Zhao,Litong Wang,Liyue Zhang,Meng Li,Miaojun Wang,Mingchuan Zhang,Minghua Zhang,Minghui Tang,Mingming Li,Ning Tian,Panpan Huang,Peiyi Wang,Peng Zhang,Qiancheng Wang,Qihao Zhu,Qinyu Chen,Qiushi Du,R. J. Chen,R. L. Jin,Ruiqi Ge,Ruisong Zhang,Ruizhe Pan,Runji Wang,Runxin Xu,Ruoyu Zhang,Ruyi Chen,S. S. Li,Shanghao Lu,Shangyan Zhou,Shanhuang Chen,Shaoqing Wu,Shengfeng Ye,Shengfeng Ye,Shirong Ma,Shiyu Wang,Shuang Zhou,Shuiping Yu,Shunfeng Zhou,Shuting Pan,T. Wang,Tao Yun,Tian Pei,Tianyu Sun,W. L. Xiao,Wangding Zeng,Wanjia Zhao,Wei An,Wen Liu,Wenfeng Liang,Wenjun Gao,Wenqin Yu,Wentao Zhang,X. Q. Li,Xiangyue Jin,Xianzu Wang,Xiao Bi,Xiaodong Liu,Xiaohan Wang,Xiaojin Shen,Xiaokang Chen,Xiaokang Zhang,Xiaosha Chen,Xiaotao Nie,Xiaowen Sun,Xiaoxiang Wang,Xin Cheng,Xin Liu,Xin Xie,Xingchao Liu,Xingkai Yu,Xinnan Song,Xinxia Shan,Xinyi Zhou,Xinyu Yang,Xinyuan Li,Xuecheng Su,Xuheng Lin,Y. K. Li,Y. Q. Wang,Y. X. Wei,Y. X. Zhu,Yang Zhang,Yanhong Xu,Yanhong Xu,Yanping Huang,Yao Li,Yao Zhao,Yaofeng Sun,Yaohui Li,Yaohui Wang,Yi Yu,Yi Zheng,Yichao Zhang,Yifan Shi,Yiliang Xiong,Ying He,Ying Tang,Yishi Piao,Yisong Wang,Yixuan Tan,Yiyang Ma,Yiyuan Liu,Yongqiang Guo,Yu Wu,Yuan Ou,Yuchen Zhu,Yuduan Wang,Yue Gong,Yuheng Zou,Yujia He,Yukun Zha,Yunfan Xiong,Yunxian Ma,Yuting Yan,Yuxiang Luo,Yuxiang You,Yuxuan Liu,Yuyang Zhou,Z. F. Wu,Z. Z. Ren,Zehui Ren,Zhangli Sha,Zhe Fu,Zhean Xu,Zhen Huang,Zhen Zhang,Zhenda Xie,Zhengyan Zhang,Zhewen Hao,Zhibin Gou,Zhicheng Ma,Zhigang Yan,Zhihong Shao,Zhipeng Xu,Zhiyu Wu,Zhongyu Zhang,Zhuoshu Li,Zihui Gu,Zijia Zhu,Zijun Liu,Zilin Li,Ziwei Xie,Ziyang Song,Ziyi Gao,Zizheng Pan
発行日 2025-02-18 17:26:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | DeepSeek-V3 Technical Report はコメントを受け付けていません

BOLIMES: Boruta and LIME optiMized fEature Selection for Gene Expression Classification

投稿日: 2025年2月19日 作成者: jarxiv

要約

遺伝子発現の分類は、主にゲノムデータの高次元と過剰適合のリスクのために、バイオインフォマティクスにおける極めて重要でありながら挑戦的な作業です。
このギャップを埋めるために、機能サブセットを体系的に改良することにより、遺伝子発現分類を強化するように設計された新しい特徴選択アルゴリズムであるBolimesを提案します。
統計的ランキングまたは分類器固有の選択のみに依存する従来の方法とは異なり、ボルタの堅牢性と石灰の解釈可能性を統合し、最も関連性が高く影響力のある遺伝子のみが保持されるようにします。
Bolimesは、最初にBorutaを使用して、各機能をランダム化された対応物と比較することにより、非情報遺伝子を除外し、貴重な情報を保存します。
次に、石灰を使用して、分類器に対する局所的な重要性に基づいて残りの遺伝子をランク付けします。
最後に、反復分類評価により、予測精度を最大化する遺伝子の数を選択することにより、最適な特徴サブセットが決定されます。
徹底的な特徴選択と解釈可能性駆動型の改良性を組み合わせることにより、私たちのソリューションは、寸法削減と高い分類性能のバランスを効果的にバランスさせ、高次元遺伝子発現解析のための強力なソリューションを提供します。

要約(オリジナル)

Gene expression classification is a pivotal yet challenging task in bioinformatics, primarily due to the high dimensionality of genomic data and the risk of overfitting. To bridge this gap, we propose BOLIMES, a novel feature selection algorithm designed to enhance gene expression classification by systematically refining the feature subset. Unlike conventional methods that rely solely on statistical ranking or classifier-specific selection, we integrate the robustness of Boruta with the interpretability of LIME, ensuring that only the most relevant and influential genes are retained. BOLIMES first employs Boruta to filter out non-informative genes by comparing each feature against its randomized counterpart, thus preserving valuable information. It then uses LIME to rank the remaining genes based on their local importance to the classifier. Finally, an iterative classification evaluation determines the optimal feature subset by selecting the number of genes that maximizes predictive accuracy. By combining exhaustive feature selection with interpretability-driven refinement, our solution effectively balances dimensionality reduction with high classification performance, offering a powerful solution for high-dimensional gene expression analysis.

arxiv情報

著者 Bich-Chung Phan,Thanh Ma,Huu-Hoa Nguyen,and Thanh-Nghi Do
発行日 2025-02-18 17:33:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | BOLIMES: Boruta and LIME optiMized fEature Selection for Gene Expression Classification はコメントを受け付けていません

Selective Reviews of Bandit Problems in AI via a Statistical View

投稿日: 2025年2月19日 作成者: jarxiv

要約

Rehnection Learning（RL）は、環境との相互作用を通じて、教育エージェントの意思決定に焦点を当てた人工知能の広く研究されている領域です。
重要なサブセットには、確率的マルチアライムバンディット（MAB）と連続装甲盗賊（SCAB）の問題が含まれ、不確実性の下でのシーケンシャルな意思決定をモデル化します。
このレビューでは、盗賊問題の基礎モデルと仮定の概要を示し、濃度の不平等やミニマックスの後悔の境界などの非矛盾のある理論的ツールを調査し、探査と搾取のトレードオフを管理するための頻繁なアルゴリズムとベイジアンアルゴリズムを比較します。
さらに、Kでっている文脈的盗賊とかさぶたを探索し、その方法論と後悔の分析に焦点を当てています。
また、SCABの問題と機能データ分析の間の接続を調べます。
最後に、現場での最近の進歩と継続的な課題を強調します。

要約(オリジナル)

Reinforcement Learning (RL) is a widely researched area in artificial intelligence that focuses on teaching agents decision-making through interactions with their environment. A key subset includes stochastic multi-armed bandit (MAB) and continuum-armed bandit (SCAB) problems, which model sequential decision-making under uncertainty. This review outlines the foundational models and assumptions of bandit problems, explores non-asymptotic theoretical tools like concentration inequalities and minimax regret bounds, and compares frequentist and Bayesian algorithms for managing exploration-exploitation trade-offs. Additionally, we explore K-armed contextual bandits and SCAB, focusing on their methodologies and regret analyses. We also examine the connections between SCAB problems and functional data analysis. Finally, we highlight recent advances and ongoing challenges in the field.

arxiv情報

著者 Pengjie Zhou,Haoyu Wei,Huiming Zhang
発行日 2025-02-18 17:42:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, econ.EM, math.PR, stat.ML | Selective Reviews of Bandit Problems in AI via a Statistical View はコメントを受け付けていません

Text2World: Benchmarking Large Language Models for Symbolic World Model Generation

投稿日: 2025年2月19日 作成者: jarxiv

要約

最近、テキストの説明から象徴的な世界モデルを生成するために、大規模な言語モデル（LLMS）を活用することに関心が高まっています。
LLMは世界モデリングのコンテキストで広範囲に調査されていますが、以前の研究では、評価のランダム性、間接メトリックへの依存、限られたドメインスコープなど、いくつかの課題に遭遇しました。
これらの制限に対処するために、計画ドメイン定義言語（PDDL）に基づいて、数百の多様なドメインを特徴とし、より堅牢な評価のためにマルチ基準、実行ベースのメトリックを採用した新しいベンチマークText2Worldを導入します。
Text2Worldを使用して現在のLLMをベンチマークし、大規模な強化学習で訓練された推論モデルが他の人よりも優れていることがわかります。
ただし、最高のパフォーマンスモデルでさえ、世界モデリングの能力が限られていることを示しています。
これらの洞察に基づいて、テスト時間スケーリング、エージェントトレーニングなど、LLMの世界モデリング能力を強化するためのいくつかの有望な戦略を検討します。
Text2Worldが重要なリソースとして機能し、LLMを世界モデルとして活用する将来の研究の基礎を築くことができることを願っています。
プロジェクトページは、https：//text-to-world.github.io/で入手できます。

要約(オリジナル)

Recently, there has been growing interest in leveraging large language models (LLMs) to generate symbolic world models from textual descriptions. Although LLMs have been extensively explored in the context of world modeling, prior studies encountered several challenges, including evaluation randomness, dependence on indirect metrics, and a limited domain scope. To address these limitations, we introduce a novel benchmark, Text2World, based on planning domain definition language (PDDL), featuring hundreds of diverse domains and employing multi-criteria, execution-based metrics for a more robust evaluation. We benchmark current LLMs using Text2World and find that reasoning models trained with large-scale reinforcement learning outperform others. However, even the best-performing model still demonstrates limited capabilities in world modeling. Building on these insights, we examine several promising strategies to enhance the world modeling capabilities of LLMs, including test-time scaling, agent training, and more. We hope that Text2World can serve as a crucial resource, laying the groundwork for future research in leveraging LLMs as world models. The project page is available at https://text-to-world.github.io/.

arxiv情報

著者 Mengkang Hu,Tianxing Chen,Yude Zou,Yuheng Lei,Qiguang Chen,Ming Li,Hongyuan Zhang,Wenqi Shao,Ping Luo
発行日 2025-02-18 17:59:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Text2World: Benchmarking Large Language Models for Symbolic World Model Generation はコメントを受け付けていません

Can a Single Model Master Both Multi-turn Conversations and Tool Use? CoALM: A Unified Conversational Agentic Language Model

投稿日: 2025年2月19日 作成者: jarxiv

要約

APIコール機能を備えた大規模な言語モデル（LLMS）により、効果的な言語エージェント（LA）の構築が可能になり、従来のタスク指向の対話（TOD）パラダイムに革命をもたらしました。
ただし、現在のアプローチは重大なジレンマに直面しています。TODシステムは、限られたターゲットAPIのセットでトレーニングされることがよく、新しいサービスとインターフェースするときに品質を維持するために新しいデータが必要になりますが、LAはマルチターン会話を介してユーザーの意図を維持するように訓練されていません。
堅牢なマルチターン管理と高度な関数呼び出しの両方が効果的な会話エージェントにとって重要であるため、これらのスキルを3つの一般的なベンチマークで評価します：MultiWoz 2.4（TOD）、BFCL V3（LA）、およびAPI-Bank（LA）、および分析
特殊なアプローチが1つのドメインで優れているが、もう一方のドメインではパフォーマンスが低いことを明らかにします。
この割れ目を橋渡しするために、会話能力とエージェント機能の両方を統合する統合されたアプローチであるCoalm（会話エージェント言語モデル）を紹介します。
Coalm-ITを作成しました。これは、複雑なAPI使用量を備えたマルチターン反応推論をインターリーブする慎重に構築されたマルチタスクデータセットを作成しました。
Coalm-ITを使用して、3つのベンチマークにわたってGPT-4Oを含むトップドメイン固有のモデルを上回る3つのモデルCoalm 8B、Coalm 70B、およびCoalm 405Bをトレーニングします。
LA、会話エージェントの新しい基準を設定します。

要約(オリジナル)

Large Language Models (LLMs) with API-calling capabilities enabled building effective Language Agents (LA), while also revolutionizing the conventional task-oriented dialogue (TOD) paradigm. However, current approaches face a critical dilemma: TOD systems are often trained on a limited set of target APIs, requiring new data to maintain their quality when interfacing with new services, while LAs are not trained to maintain user intent over multi-turn conversations. Because both robust multi-turn management and advanced function calling are crucial for effective conversational agents, we evaluate these skills on three popular benchmarks: MultiWOZ 2.4 (TOD), BFCL V3 (LA), and API-Bank (LA), and our analyses reveal that specialized approaches excel in one domain but underperform in the other. To bridge this chasm, we introduce CoALM (Conversational Agentic Language Model), a unified approach that integrates both conversational and agentic capabilities. We created CoALM-IT, a carefully constructed multi-task dataset that interleave multi-turn ReAct reasoning with complex API usage. Using CoALM-IT, we train three models CoALM 8B, CoALM 70B, and CoALM 405B, which outperform top domain-specific models, including GPT-4o, across all three benchmarks.This demonstrates the feasibility of a single model approach for both TOD and LA, setting a new standard for conversational agents.

arxiv情報

著者 Emre Can Acikgoz,Jeremiah Greer,Akul Datta,Ze Yang,William Zeng,Oussama Elachqar,Emmanouil Koukoumidis,Dilek Hakkani-Tür,Gokhan Tur
発行日 2025-02-18 18:08:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Can a Single Model Master Both Multi-turn Conversations and Tool Use? CoALM: A Unified Conversational Agentic Language Model はコメントを受け付けていません

An Attentive Graph Agent for Topology-Adaptive Cyber Defence

投稿日: 2025年2月19日 作成者: jarxiv

要約

サイバーの脅威がますます洗練されるにつれて、強化学習（RL）は、インテリジェントで適応的なサイバー防衛システムを作成するための有望なテクニックとして浮上しています。
ただし、ほとんどの既存の自律防御エージェントは、サイバー攻撃の対象となるコンピューターネットワークの固有のグラフ構造を見落としており、潜在的に重要な情報が欠落し、適応性を制約しています。
これらの制限を克服するために、Cyber​​ Operations Research Gym（Cyborg）環境のカスタムバージョンを開発し、ネットワーク状態を現実的な低レベル機能を備えた指示グラフとしてエンコードしました。
グラフ注意ネットワーク（GAT）アーキテクチャを使用して、ノード、エッジ、グローバル機能を処理し、RLのポリシーグラデーションメソッドと互換性があるように出力を適応させます。
GATベースのアプローチは、平らな代替案よりも重要な利点を提供します。特定のタイプの予期しない動的ネットワークトポロジの変更に対する回復力を示すポリシー、同じ構造分布内のさまざまなサイズのネットワークへの合理的な一般化、および有形ネットワークプロパティに基づいた解釈可能な防御アクション。
GATの防御ポリシーは、シミュレーション中に予期しない接続が発生した場合でも、低レベルの指示グラフ観測を使用してトレーニングできることを実証します。
さまざまなサイズのネットワーク全体での評価がありますが、一貫したサブネットワーク構造は、ポリシーが各ネットワーク構成のために特別にトレーニングされたポリシーと同等のパフォーマンスを達成することを示しています。
私たちの研究は、現実世界のネットワークセキュリティの課題によりよく適応できる堅牢なサイバー防衛システムの開発に貢献しています。

要約(オリジナル)

As cyber threats grow increasingly sophisticated, reinforcement learning (RL) is emerging as a promising technique to create intelligent and adaptive cyber defense systems. However, most existing autonomous defensive agents have overlooked the inherent graph structure of computer networks subject to cyber attacks, potentially missing critical information and constraining their adaptability. To overcome these limitations, we developed a custom version of the Cyber Operations Research Gym (CybORG) environment, encoding network state as a directed graph with realistic low-level features. We employ a Graph Attention Network (GAT) architecture to process node, edge, and global features, and adapt its output to be compatible with policy gradient methods in RL. Our GAT-based approach offers key advantages over flattened alternatives: policies that demonstrate resilience to certain types of unexpected dynamic network topology changes, reasonable generalisation to networks of varying sizes within the same structural distribution, and interpretable defensive actions grounded in tangible network properties. We demonstrate that GAT defensive policies can be trained using our low-level directed graph observations, even when unexpected connections arise during simulation. Evaluations across networks of different sizes, but consistent subnetwork structure, show our policies achieve comparable performance to policies trained specifically for each network configuration. Our study contributes to the development of robust cyber defence systems that can better adapt to real-world network security challenges.

arxiv情報

著者 Ilya Orson Sandoval,Isaac Symes Thompson,Vasilios Mavroudis,Chris Hicks
発行日 2025-02-18 18:19:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG, cs.NI | An Attentive Graph Agent for Topology-Adaptive Cyber Defence はコメントを受け付けていません

MatterChat: A Multi-Modal LLM for Material Science

投稿日: 2025年2月19日 作成者: jarxiv

要約

無機材料の特性を理解し、予測することは、材料科学の進歩を加速し、エネルギー、電子機器、およびそれ以降の応用を促進するために重要です。
マルチモーダルの大手言語モデル（LLMS）を介した材料構造データと言語ベースの情報を統合することで、人間との相互作用を強化することにより、これらの努力をサポートする大きな可能性があります。
ただし、重要な課題は、Atomic構造をフル解像度でLLMSに統合することにあります。
この作業では、材料の構造データとテキスト入力を単一の凝集モデルに統一する多目的な構造認識マルチモーダルLLMであるMatterChatを紹介します。
MatterChatは、ブリッジングモジュールを使用して、前処理された機械学習間の可能性を優先LLMと効果的に整列させ、トレーニングコストを削減し、柔軟性を向上させます。
我々の結果は、MatterChatがGPT-4などの汎用LLMを超えて、物質的な財産予測と人間との相互作用のパフォーマンスを大幅に改善することを示しています。
また、より高度な科学的推論や段階的な材料合成などのアプリケーションでの有用性を示しています。

要約(オリジナル)

Understanding and predicting the properties of inorganic materials is crucial for accelerating advancements in materials science and driving applications in energy, electronics, and beyond. Integrating material structure data with language-based information through multi-modal large language models (LLMs) offers great potential to support these efforts by enhancing human-AI interaction. However, a key challenge lies in integrating atomic structures at full resolution into LLMs. In this work, we introduce MatterChat, a versatile structure-aware multi-modal LLM that unifies material structural data and textual inputs into a single cohesive model. MatterChat employs a bridging module to effectively align a pretrained machine learning interatomic potential with a pretrained LLM, reducing training costs and enhancing flexibility. Our results demonstrate that MatterChat significantly improves performance in material property prediction and human-AI interaction, surpassing general-purpose LLMs such as GPT-4. We also demonstrate its usefulness in applications such as more advanced scientific reasoning and step-by-step material synthesis.

arxiv情報

著者 Yingheng Tang,Wenbin Xu,Jie Cao,Jianzhu Ma,Weilu Gao,Steve Farrell,Benjamin Erichson,Michael W. Mahoney,Andy Nonaka,Zhi Yao
発行日 2025-02-18 18:19:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | MatterChat: A Multi-Modal LLM for Material Science はコメントを受け付けていません