Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning

投稿日: 2025年3月4日 作成者: jarxiv

要約

人間のフィードバックによる強化学習（RLHF）は、大規模な言語モデル（LLM）を人間の嗜好に合わせることで大きな成功を収めている。一般的なRLHFアプローチは、Bradley-Terry (BT)モデルの仮定に従った報酬ベースであり、人間の嗜好の複雑さを十分に理解できない可能性がある。本論文では、一般的な選好の枠組みでRLHFを探求し、ゲーム理論の観点からアプローチする。具体的には、問題を2人ゲームとして定式化し、新しいオンラインアルゴリズムである反復ナッシュ政策最適化（INPO）を提案する。重要なアイデアは、後悔のない学習によって政策をそれ自身と対戦させ、それによってナッシュ政策を近似することである。これまでの方法とは異なり、INPOは個々の応答に対する期待勝率を推定する必要性を回避する。その代わりに、嗜好データセット上で直接最小化される新しい損失目標を導入する。本アプローチの理論的解析を行い、様々な代表的ベンチマークでの実験により、その有効性を実証する。LLaMA-3-8BベースのSFTモデルにより、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の長さ制御勝率を達成し、最先端のオンラインRLHFアルゴリズムと比較して大幅な改善を示した。

要約(オリジナル)

Reinforcement Learning with Human Feedback (RLHF) has achieved great success in aligning large language models (LLMs) with human preferences. Prevalent RLHF approaches are reward-based, following the Bradley-Terry (BT) model assumption, which may not fully capture the complexity of human preferences. In this paper, we explore RLHF under a general preference framework and approach it from a game-theoretic perspective. Specifically, we formulate the problem as a two-player game and propose a novel online algorithm, iterative Nash policy optimization (INPO). The key idea is to let the policy play against itself via no-regret learning, thereby approximating the Nash policy. Unlike previous methods, INPO bypasses the need for estimating the expected win rate for individual responses, which typically incurs high computational or annotation costs. Instead, we introduce a new loss objective that is directly minimized over a preference dataset. We provide theoretical analysis for our approach and demonstrate its effectiveness through experiments on various representative benchmarks. With an LLaMA-3-8B-based SFT model, INPO achieves a 42.6% length-controlled win rate on AlpacaEval 2.0 and a 37.8% win rate on Arena-Hard, showing substantial improvement over the state-of-the-art online RLHF algorithms.

arxiv情報

著者 Yuheng Zhang,Dian Yu,Baolin Peng,Linfeng Song,Ye Tian,Mingyue Huo,Nan Jiang,Haitao Mi,Dong Yu
発行日 2025-03-03 03:41:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.GT, cs.LG | Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning はコメントを受け付けていません

QUAD-LLM-MLTC: Large Language Models Ensemble Learning for Healthcare Text Multi-Label Classification

投稿日: 2025年3月4日 作成者: jarxiv

要約

収集されるヘルスケアテキストデータの量が増加するにつれ、自動化されたマルチラベルテキスト分類（MLTC）に対するユニークな挑戦が提示される。従来の機械学習モデルでは、表現されたトピックの配列を完全に捉えることができないことが多い。しかしながら、大規模言語モデル（Large Language Models: LLM）は、様々なドメインにおける多数の自然言語処理（Natural Language Processing: NLP）タスクにおいて顕著な有効性を示しており、プロンプトエンジニアリングによる教師なし学習に適した、優れた計算効率を示している。その結果、これらのLLMは医療ナラティブの効果的なMLTCを約束する。しかし、様々なラベルを扱う場合、トピックによって異なるプロンプトが関連する可能性がある。このような課題に対処するため、提案するアプローチQUAD-LLM-MLTCは、4つのLLMの長所を活用する：GPT-4o、BERT、PEGASUS、BARTである。QUAD-LLM-MLTCは、BERTがキートークンを抽出し、PEGASUSがテキストデータを補強し、GPT-4oが分類し、BARTがトピックの割り当て確率を提供する逐次パイプラインで動作する。これらの出力はアンサンブル学習により結合され、メタ分類器を通して処理され、最終的なMLTC結果を生成する。本アプローチは、3つの注釈付きテキストのサンプルを用いて評価され、従来の手法や単一モデルの手法と対比される。その結果、分類のF1スコアと一貫性において、大半のトピックで有意な改善が見られた（F1とMicro-F1のスコアはそれぞれ78.17%と80.16%、標準偏差はそれぞれ0.025と0.011）。本研究は、LLMを用いたMLTCを進歩させ、さらなる訓練なしに医療関連のテキストデータを迅速に分類するための効率的でスケーラブルなソリューションを提供する。

要約(オリジナル)

The escalating volume of collected healthcare textual data presents a unique challenge for automated Multi-Label Text Classification (MLTC), which is primarily due to the scarcity of annotated texts for training and their nuanced nature. Traditional machine learning models often fail to fully capture the array of expressed topics. However, Large Language Models (LLMs) have demonstrated remarkable effectiveness across numerous Natural Language Processing (NLP) tasks in various domains, which show impressive computational efficiency and suitability for unsupervised learning through prompt engineering. Consequently, these LLMs promise an effective MLTC of medical narratives. However, when dealing with various labels, different prompts can be relevant depending on the topic. To address these challenges, the proposed approach, QUAD-LLM-MLTC, leverages the strengths of four LLMs: GPT-4o, BERT, PEGASUS, and BART. QUAD-LLM-MLTC operates in a sequential pipeline in which BERT extracts key tokens, PEGASUS augments textual data, GPT-4o classifies, and BART provides topics’ assignment probabilities, which results in four classifications, all in a 0-shot setting. The outputs are then combined using ensemble learning and processed through a meta-classifier to produce the final MLTC result. The approach is evaluated using three samples of annotated texts, which contrast it with traditional and single-model methods. The results show significant improvements across the majority of the topics in the classification’s F1 score and consistency (F1 and Micro-F1 scores of 78.17% and 80.16% with standard deviations of 0.025 and 0.011, respectively). This research advances MLTC using LLMs and provides an efficient and scalable solution to rapidly categorize healthcare-related text data without further training.

arxiv情報

著者 Hajar Sakai,Sarah S. Lam
発行日 2025-03-03 04:11:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | QUAD-LLM-MLTC: Large Language Models Ensemble Learning for Healthcare Text Multi-Label Classification はコメントを受け付けていません

A-MEM: Agentic Memory for LLM Agents

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）エージェントは、複雑な実世界タスクのために外部ツールを効果的に利用することができるが、過去の経験を活用するために記憶システムを必要とする。現在の記憶システムは、基本的な記憶と検索は可能であるが、グラフデータベースを組み込むという最近の試みにもかかわらず、洗練された記憶構成には欠けている。さらに、これらのシステムの固定的な操作と構造は、多様なタスクへの適応性を制限している。この限界に対処するために、本論文では、LLMエージェントのための新しいエージェント型記憶システムを提案する。Zettelkasten法の基本原則に従い、我々は動的な索引付けとリンクによって相互に接続された知識ネットワークを作成するメモリシステムを設計した。新しい記憶が追加されると、文脈的な説明、キーワード、タグを含む複数の構造化された属性を含む包括的なメモを生成する。その後、システムは過去の記憶を分析して関連するつながりを特定し、意味のある類似点が存在する場合にリンクを確立します。さらに、このプロセスは記憶の進化を可能にする。新しい記憶が統合されると、既存の過去の記憶の文脈的表現と属性の更新がトリガーされ、記憶ネットワークが継続的に理解を深めることができる。我々のアプローチは、Zettelkastenの構造化された組織原則と、エージェント駆動型意思決定の柔軟性を組み合わせることで、より適応的で文脈を考慮した記憶管理を可能にする。6つの基礎モデルを用いた実証実験では、既存のSOTAベースラインに対して優れた改善が見られた。ソースコードはhttps://github.com/WujiangXu/AgenticMemory。

要約(オリジナル)

While large language model (LLM) agents can effectively use external tools for complex real-world tasks, they require memory systems to leverage historical experiences. Current memory systems enable basic storage and retrieval but lack sophisticated memory organization, despite recent attempts to incorporate graph databases. Moreover, these systems’ fixed operations and structures limit their adaptability across diverse tasks. To address this limitation, this paper proposes a novel agentic memory system for LLM agents that can dynamically organize memories in an agentic way. Following the basic principles of the Zettelkasten method, we designed our memory system to create interconnected knowledge networks through dynamic indexing and linking. When a new memory is added, we generate a comprehensive note containing multiple structured attributes, including contextual descriptions, keywords, and tags. The system then analyzes historical memories to identify relevant connections, establishing links where meaningful similarities exist. Additionally, this process enables memory evolution – as new memories are integrated, they can trigger updates to the contextual representations and attributes of existing historical memories, allowing the memory network to continuously refine its understanding. Our approach combines the structured organization principles of Zettelkasten with the flexibility of agent-driven decision making, allowing for more adaptive and context-aware memory management. Empirical experiments on six foundation models show superior improvement against existing SOTA baselines. The source code is available at https://github.com/WujiangXu/AgenticMemory.

arxiv情報

著者 Wujiang Xu,Zujie Liang,Kai Mei,Hang Gao,Juntao Tan,Yongfeng Zhang
発行日 2025-03-03 04:14:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.HC | A-MEM: Agentic Memory for LLM Agents はコメントを受け付けていません

Perturbation-Restrained Sequential Model Editing

投稿日: 2025年3月4日 作成者: jarxiv

要約

モデル編集は、大規模言語モデル（LLM）に埋め込まれた知識を、大規模な再トレーニングを行うことなく更新することに焦点を当てた新しい分野である。しかし、現在のモデル編集手法は、編集回数が増えるにつれてLLMの一般的な能力を著しく低下させ、このトレードオフがLLMの継続的な学習に大きな課題を投げかけている。本論文ではまず、逐次モデル編集における一般的能力に影響を与える要因が、編集行列の条件番号にあることを理論的に解析する。行列の条件数はその数値的感度を表すため、編集後にLLMに格納された元の知識連想がどの程度乱されるかを示すのに用いることができる。その後、統計的な知見により、この因子の値は編集回数が増えるほど大きくなり、一般的な能力の劣化を悪化させることが示された。このため、逐次編集における条件数の制約を応用したPerturbation Restraint on Upper bouNd for Editing (PRUNE)という枠組みを提案する。この制約により、編集モデルに対する摂動の上限を下げることができ、一般的な能力を保つことができる。本論文では、3つのLLMに対して3つの編集手法を用い、4つの下流タスクについて系統的な実験を行った。その結果、PRUNEは逐次モデル編集において、編集性能を効果的に維持しつつ、一般的な能力を保持できることが示された。コードはhttps://github.com/mjy1111/PRUNE。

要約(オリジナル)

Model editing is an emerging field that focuses on updating the knowledge embedded within large language models (LLMs) without extensive retraining. However, current model editing methods significantly compromise the general abilities of LLMs as the number of edits increases, and this trade-off poses a substantial challenge to the continual learning of LLMs. In this paper, we first theoretically analyze that the factor affecting the general abilities in sequential model editing lies in the condition number of the edited matrix. The condition number of a matrix represents its numerical sensitivity, and therefore can be used to indicate the extent to which the original knowledge associations stored in LLMs are perturbed after editing. Subsequently, statistical findings demonstrate that the value of this factor becomes larger as the number of edits increases, thereby exacerbating the deterioration of general abilities. To this end, a framework termed Perturbation Restraint on Upper bouNd for Editing (PRUNE) is proposed, which applies the condition number restraints in sequential editing. These restraints can lower the upper bound on perturbation to edited models, thus preserving the general abilities. Systematically, we conduct experiments employing three editing methods on three LLMs across four downstream tasks. The results show that PRUNE can preserve general abilities while maintaining the editing performance effectively in sequential model editing. The code are available at https://github.com/mjy1111/PRUNE.

arxiv情報

著者 Jun-Yu Ma,Hong Wang,Hao-Xiang Xu,Zhen-Hua Ling,Jia-Chen Gu
発行日 2025-03-03 04:25:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Perturbation-Restrained Sequential Model Editing はコメントを受け付けていません

Generative Representational Instruction Tuning

投稿日: 2025年3月4日 作成者: jarxiv

要約

テキストベースの言語問題はすべて、生成か埋め込みのどちらかに還元できる。現在のモデルは、どちらか一方しかうまく処理できない。我々は生成的表現命令チューニング(GRIT)を導入することで、大規模な言語モデルを命令によって区別することで、生成タスクと埋め込みタスクの両方を扱えるように訓練する。他のオープンなモデルと比較して、我々の成果物であるGritLM 7Bは、大規模テキスト埋め込みベンチマーク（MTEB）において新たな技術水準を設定し、生成タスクの範囲において、そのサイズまでの全てのモデルを凌駕する。さらにスケールアップすることで、GritLM 8x7Bは、我々が試した全てのオープンな生成言語モデルを凌駕し、同時に最高の埋め込みモデルの仲間入りを果たしました。特筆すべきは、GRITは生成データまたは埋め込みデータのみで学習できることである。その他の利点として、GRITによる統一は、検索と生成の別々のモデルを必要としなくなるため、長い文書に対して検索拡張生成（RAG）を60%以上高速化する。モデルやコードなどは、https://github.com/ContextualAI/gritlm で自由に利用できる。

要約(オリジナル)

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.

arxiv情報

著者 Niklas Muennighoff,Hongjin Su,Liang Wang,Nan Yang,Furu Wei,Tao Yu,Amanpreet Singh,Douwe Kiela
発行日 2025-03-03 04:28:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | Generative Representational Instruction Tuning はコメントを受け付けていません

Spontaneous Giving and Calculated Greed in Language Models

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模な言語モデルは、思考の連鎖や内省といった推論技術を取り入れることで、高度な問題解決能力を示している。しかし、これらの推論能力が社会的知性にどのように拡張されるかは不明なままである。本研究では、社会的知性が重要な役割を果たす社会的ジレンマをモデル化した経済ゲームを用いて、この疑問を調査する。まず、公共財ゲームにおいて、思考の連鎖と内省技術の効果を検証する。次に、協力と罰に関する6つの経済ゲームに分析を拡張し、市販の非推論モデルと推論モデルを比較する。その結果、推論モデルは個人の合理性を優先し、協力と規範の履行を著しく減少させることがわかった。その結果、より多くの推論モデルを持つグループは、より少ない協力と、繰り返される相互作用によるより低い利益を示す。これらの行動は、「自発的な贈与と計算された貪欲」という人間の傾向と類似している。我々の結果は、AIが人間の協力的直感を破壊するのではなく、むしろサポートすることを保証するために、推論能力と並行して社会的知性を組み込んだAIアーキテクチャの必要性を示唆している。

要約(オリジナル)

Large language models demonstrate advanced problem-solving capabilities by incorporating reasoning techniques such as chain of thought and reflection. However, how these reasoning capabilities extend to social intelligence remains unclear. In this study, we investigate this question using economic games that model social dilemmas, where social intelligence plays a crucial role. First, we examine the effects of chain-of-thought and reflection techniques in a public goods game. We then extend our analysis to six economic games on cooperation and punishment, comparing off-the-shelf non-reasoning and reasoning models. We find that reasoning models significantly reduce cooperation and norm enforcement, prioritizing individual rationality. Consequently, groups with more reasoning models exhibit less cooperation and lower gains through repeated interactions. These behaviors parallel human tendencies of ‘spontaneous giving and calculated greed.’ Our results suggest the need for AI architectures that incorporate social intelligence alongside reasoning capabilities to ensure that AI supports, rather than disrupts, human cooperative intuition.

arxiv情報

著者 Yuxuan Li,Hirokazu Shirado
発行日 2025-03-03 04:31:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | Spontaneous Giving and Calculated Greed in Language Models はコメントを受け付けていません

Enhancing Conversational Agents with Theory of Mind: Aligning Beliefs, Desires, and Intentions for Human-Like Interaction

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）によって駆動されるエージェント型人工知能（AI）との自然言語インタラクションは、近い将来に支配的なパラダイムであり続けると予想される。人間は本能的に心の状態とコミュニケーションを一致させるが、これは心の理論（ToM）として知られる能力である。本研究では、オープンソースの言語モデル（LLaMA）がToMに関連する情報をどの程度取り込み、保持できるか、また、生成された応答において、それがどの程度効果的に一貫したToM推論に寄与するかを検証する。さらに、信念、欲求、意図などのToM関連要素を明示的に操作することで、応答の整合性を高めることができるかどうかを調査する。2つのLLaMA 3変種を用いた実験では、ToMに基づいたアライメントを取り入れることで、応答の質が向上することが実証され、3Bモデルと8Bモデルでそれぞれ67％と63％の勝率を達成した。これらの結果は、LLMベースの会話エージェントにおけるアライメントを改善するToM駆動戦略の可能性を強調するものである。

要約(オリジナル)

Natural language interaction with agentic Artificial Intelligence (AI), driven by Large Language Models (LLMs), is expected to remain a dominant paradigm in the near future. While humans instinctively align their communication with mental states — an ability known as Theory of Mind (ToM), current LLM powered systems exhibit significant limitations in this regard. This study examines the extent to which open source language models (LLaMA) can capture and preserve ToM related information and how effectively it contributes to consistent ToM reasoning in generated responses. We further investigate whether explicit manipulation of ToM related components, such as beliefs, desires, and intentions, can enhance response alignment. Experiments on two LLaMA 3 variants demonstrate that incorporating ToM informed alignment improves response quality, achieving win rates of 67 and 63 percent for the 3B and 8B models, respectively. These findings highlight the potential of ToM driven strategies to improve alignment in LLM based conversational agents.

arxiv情報

著者 Mehdi Jafari,Devin Yuncheng Hua,Hao Xue,Flora Salim
発行日 2025-03-03 05:44:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Enhancing Conversational Agents with Theory of Mind: Aligning Beliefs, Desires, and Intentions for Human-Like Interaction はコメントを受け付けていません

TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（Large Language Models: LLM）の急速な進歩により、現代のアプリケーションでは、拡張された文脈シーケンスを処理する需要が高まっている。しかし、この進歩は2つの大きな課題に直面している。すなわち、配列の長さが分布から外れることによる性能低下と、注意の2次計算複雑性によって引き起こされる推論時間の過剰な長さである。これらの問題は、LLMのロングコンテキストシナリオへの応用を妨げている。本論文では、効率的で高精度なロングコンテキスト推論のための、訓練不要の手法である動的トークンレベルKVキャッシュ選択（Dynamic Token-Level KV Cache Selection：TokenSelect）を提案する。TokenSelectは、非連続的なアテンションスパース性の観測に基づき、Query-Keyのドット積を用いて、トークン単位でヘッド毎のKVキャッシュのクリティカリティを測定する。ヘッドごとのソフトな投票メカニズムにより、TokenSelectは精度を犠牲にすることなく、少数のクリティカルなKVキャッシュ・トークンを選択的にアテンション計算に関与させる。TokenSelectをさらに高速化するために、連続するクエリの類似性の観測に基づいて選択キャッシュを設計し、効率的なドット積カーネルを実装することで、オーバーヘッドを大幅に削減した。TokenSelectの包括的な評価により、注目度計算において最大23.84倍の高速化、エンドツーエンドの待ち時間において最大2.28倍の高速化が実証され、同時に、最新のロングコンテキスト推論手法と比較して優れた性能を提供する。

要約(オリジナル)

The rapid advancement of Large Language Models (LLMs) has driven growing demand for processing extended context sequences in contemporary applications. However, this progress faces two major challenges: performance degradation due to sequence lengths out-of-distribution, and excessively long inference times caused by the quadratic computational complexity of attention. These issues hinder the application of LLMs in long-context scenarios. In this paper, we propose Dynamic Token-Level KV Cache Selection (TokenSelect), a training-free method for efficient and accurate long-context inference. TokenSelect builds upon the observation of non-contiguous attention sparsity, using Query-Key dot products to measure per-head KV Cache criticality at token-level. By per-head soft voting mechanism, TokenSelect selectively involves a few critical KV cache tokens in attention calculation without sacrificing accuracy. To further accelerate TokenSelect, we design the Selection Cache based on observations of consecutive Query similarity and implemented efficient dot product kernel, significantly reducing the overhead. A comprehensive evaluation of TokenSelect demonstrates up to 23.84x speedup in attention computation and up to 2.28x acceleration in end-to-end latency, while providing superior performance compared to state-of-the-art long-context inference methods.

arxiv情報

著者 Wei Wu,Zhuoshi Pan,Chao Wang,Liyi Chen,Yunchu Bai,Tianfu Wang,Kun Fu,Zheng Wang,Hui Xiong
発行日 2025-03-03 05:49:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | TokenSelect: Efficient Long-Context Inference and Length Extrapolation for LLMs via Dynamic Token-Level KV Cache Selection はコメントを受け付けていません

Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following

投稿日: 2025年3月4日 作成者: jarxiv

要約

複数の制約を持つ実世界の命令は、既存の大規模言語モデル（LLM）にとって大きな挑戦となる。LLMは、組み込まれた制約の順序を乱すと、劇的な性能変動を示すという観察結果がある。しかし、既存の研究では、多制約命令追従の分野において、この位置偏り問題を系統的に調査したものはない。このギャップを埋めるために、我々は、新しい難易度分布指数(CDDI)によって制約の難易度分布を定量的に測定するプロービング課題を設計する。実験結果を通じて、LLMは「難しい→簡単」の順に制約を提示された場合に、より高い性能を発揮することがわかった。この嗜好性は、異なるアーキテクチャや異なるパラメータサイズのLLMにも一般化できる。さらに、LLMの注意と制約の順序の相関に関する直感的な洞察を提供する、説明研究を行う。我々のコードとデータセットは、https://github.com/meowpass/PBIF で公開されている。

要約(オリジナル)

Real-world instructions with multiple constraints pose a significant challenge to existing large language models (LLMs). An observation is that the LLMs exhibit dramatic performance fluctuation when disturbing the order of the incorporated constraints. Yet, none of the existing works has systematically investigated this position bias problem in the field of multi-constraint instruction following. To bridge this gap, we design a probing task where we quantitatively measure the difficulty distribution of the constraints by a novel Difficulty Distribution Index (CDDI). Through the experimental results, we find that LLMs are more performant when presented with the constraints in a “hard-to-easy” order. This preference can be generalized to LLMs with different architecture or different sizes of parameters. Additionally, we conduct an explanation study, providing an intuitive insight into the correlation between the LLM’s attention and constraint orders. Our code and dataset are publicly available at https://github.com/meowpass/PBIF.

arxiv情報

著者 Jie Zeng,Qianyu He,Qingyu Ren,Jiaqing Liang,Yanghua Xiao,Weikang Zhou,Zeye Sun,Fei Yu
発行日 2025-03-03 06:29:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following はコメントを受け付けていません

The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）は、重要な多言語能力を示している。しかし、事前学習中にこのような能力が発達するメカニズムはよく理解されていない。本稿では、コードLLMを実験プラットフォームとして用い、事前学習過程におけるLLMの多言語能力の進化を探る。我々の観察に基づき、LLMが新しい言語能力を獲得するプロセス全体を説明するバベルタワー仮説を提案する。この仮説は、LLMが新たな言語能力を獲得するプロセス全体を説明するものである。学習プロセスにおいて、複数の言語は、最初は主要言語が支配する単一の知識体系を共有し、徐々に言語固有の知識体系を発達させる。次に、作業言語と言語伝達ニューロンの特定を通してLLMの内部状態を追跡することで、上記の仮説を検証する。実験結果は、LLMの内部状態の変化が我々のバベルタワー仮説と一致することを示している。これらの洞察に基づき、多言語コードLLMのために最適化された事前学習コーパスを構築する新しい方法を提案する。提案するバベルタワー仮説は、LLMにおける最適な多言語能力を達成するための事前学習データ分布の設計に関する新たな洞察を提供する。

要約(オリジナル)

Large language models (LLMs) have shown significant multilingual capabilities. However, the mechanisms underlying the development of these capabilities during pre-training are not well understood. In this paper, we use code LLMs as an experimental platform to explore the evolution of multilingual capabilities in LLMs during the pre-training process. Based on our observations, we propose the Babel Tower Hypothesis, which describes the entire process of LLMs acquiring new language capabilities. During the learning process, multiple languages initially share a single knowledge system dominated by the primary language and gradually develop language-specific knowledge systems. We then validate the above hypothesis by tracking the internal states of the LLMs through identifying working languages and language transferring neurons. Experimental results show that the internal state changes of the LLM are consistent with our Babel Tower Hypothesis. Building on these insights, we propose a novel method to construct an optimized pre-training corpus for multilingual code LLMs, which significantly outperforms LLMs trained on the original corpus. The proposed Babel Tower Hypothesis provides new insights into designing pre-training data distributions to achieve optimal multilingual capabilities in LLMs.

arxiv情報

著者 Jiawei Chen,Wentao Chen,Jing Su,Jingjing Xu,Hongyu Lin,Mengjie Ren,Yaojie Lu,Xianpei Han,Le Sun
発行日 2025-03-03 06:33:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model はコメントを受け付けていません