Positional Fragility in LLMs: How Offset Effects Reshape Our Understanding of Memorization Risks

投稿日: 2025年5月29日 作成者: jarxiv

要約

大規模な言語モデルは、著作権違反のリスクをもたらすトレーニングデータの一部を記憶することが知られています。
このリスクを体系的に調べるために、83Bトークンで言語モデル（1b/3b/8b）をゼロから除去し、ウェブスケールデータと、以前の作業より少なくとも10倍長い間制御周波数で著作権で保護されたコンテンツをシミュレートするために使用されるパブリックドメインブックと混合します。
それにより、2つの重要な調査結果で特徴付けられる現象であるオフセット効果を特定しました。（1）逐語的な暗記は、コンテキストウィンドウの最初から描かれた短い接頭辞によって最も強く引き起こされ、参考文献の長さが増加するにつれて記憶が直感的に減少します。
（2）プレフィックスがコンテキストウィンドウの最初のトークンからオフセットを開始したときの逐語的リコールの急激な低下。
これは位置の脆弱性に起因します。モデルは、コンテキストウィンドウの初期のトークンに検索アンカーとして不釣り合いに依存しており、わずかなシフトに敏感にします。
さらに、モデルが記憶されたコンテンツを取得できない場合、退化したテキストがしばしば生成されることがよくあります。
これらの発見を活用すると、コンテキストウィンドウに敏感なデータをより深く変えることで、抽出可能な暗記と変性の両方が抑制されることが示されます。
我々の結果は、ポジションオフセットは、トレーニングシーケンスの開始からのみ調査することにより、以前の作業が暗黙的に均一性を想定していたため、記憶のリスクを評価するための重要かつ以前見落とされた軸であることを示唆しています。

要約(オリジナル)

Large language models are known to memorize parts of their training data, posing risk of copyright violations. To systematically examine this risk, we pretrain language models (1B/3B/8B) from scratch on 83B tokens, mixing web-scale data with public domain books used to simulate copyrighted content at controlled frequencies at lengths at least ten times longer than prior work. We thereby identified the offset effect, a phenomenon characterized by two key findings: (1) verbatim memorization is most strongly triggered by short prefixes drawn from the beginning of the context window, with memorization decreasing counterintuitively as prefix length increases; and (2) a sharp decline in verbatim recall when prefix begins offset from the initial tokens of the context window. We attribute this to positional fragility: models rely disproportionately on the earliest tokens in their context window as retrieval anchors, making them sensitive to even slight shifts. We further observe that when the model fails to retrieve memorized content, it often produces degenerated text. Leveraging these findings, we show that shifting sensitive data deeper into the context window suppresses both extractable memorization and degeneration. Our results suggest that positional offset is a critical and previously overlooked axis for evaluating memorization risks, since prior work implicitly assumed uniformity by probing only from the beginning of training sequences.

arxiv情報

著者 Yixuan Xu,Antoni-Joan Solergibert i Llaquet,Antoine Bosselut,Imanol Schlag
発行日 2025-05-28 15:39:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Positional Fragility in LLMs: How Offset Effects Reshape Our Understanding of Memorization Risks はコメントを受け付けていません

Nonlinear second-order dynamics describe labial constriction trajectories across languages and contexts

投稿日: 2025年5月29日 作成者: jarxiv

要約

英語とマンダリンでの / b /および / m /の生成中の唇収縮軌跡のダイナミクスを調査します。
言語と文脈を越えて、瞬間的な変位と瞬間的な速度の比は、一般に、動きの開始から動きのオフセットまでの指数関数的な減衰曲線に従うことがわかります。
この経験的発見を微分方程式で形式化し、点アトラクタダイナミクスの仮定と組み合わせて、唇の収縮軌跡を記述する非線形の2次動的システムを導き出します。
方程式には、tとrの2つのパラメーターしかありません。
tはターゲット状態に対応し、rは動きの速度に対応します。
したがって、各パラメーターは、音声的に関連するコントロールの次元に対応します。
非線形回帰は、モデルが個々の動きの軌跡に優れた適合を提供することを示しています。
さらに、モデルからシミュレーションされた軌跡は、定性的な経験的軌跡に一致し、持続時間、ピーク速度、ピーク速度を達成するための時間などの重要な運動学的変数をキャプチャします。
このモデルは、個々の調音運動のダイナミクスの提案を構成しているため、韻律、動き間調整、確率ノイズなどの調音の運動学に対する追加の影響を理解するための新しい基盤を提供します。

要約(オリジナル)

We investigate the dynamics of labial constriction trajectories during the production of /b/ and /m/ in English and Mandarin. We find that, across languages and contexts, the ratio of instantaneous displacement to instantaneous velocity generally follows an exponential decay curve from movement onset to movement offset. We formalize this empirical discovery in a differential equation and, in combination with an assumption of point attractor dynamics, derive a nonlinear second-order dynamical system describing labial constriction trajectories. The equation has only two parameters, T and r. T corresponds to the target state and r corresponds to movement rapidity. Thus, each of the parameters corresponds to a phonetically relevant dimension of control. Nonlinear regression demonstrates that the model provides excellent fits to individual movement trajectories. Moreover, trajectories simulated from the model qualitatively match empirical trajectories, and capture key kinematic variables like duration, peak velocity, and time to achieve peak velocity. The model constitutes a proposal for the dynamics of individual articulatory movements, and thus offers a novel foundation from which to understand additional influences on articulatory kinematics like prosody, inter-movement coordination, and stochastic noise.

arxiv情報

著者 Michael C. Stern,Jason A. Shaw
発行日 2025-05-28 15:41:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, nlin.AO | Nonlinear second-order dynamics describe labial constriction trajectories across languages and contexts はコメントを受け付けていません

EvolveSearch: An Iterative Self-Evolving Search Agent

投稿日: 2025年5月29日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の急速な進歩により、検索エンジンやWebブラウザーなどのツールの統合を通じて、エージェント情報探索機能の景観が変わりました。
ただし、LLM Web検索の習熟度を可能にするための現在の主流のアプローチは、重大な課題に直面しています。オープンサーチドメインでのデータ生成との監視された微調整闘争は、迅速に収束し、データ使用率の効率を制限します。
これらの問題に対処するために、SFTとRLを組み合わせた新しい反復自己進化フレームワークであるEvolveSearchを提案し、外部の人間に認定された推論データなしでエージェントWeb検索機能を強化します。
7つのマルチホップ質問（MHQA）ベンチマークでの広範な実験は、EvolveSearchが一貫して反復全体でパフォーマンスを改善し、最終的に7つのベンチマークにわたって現在の最先端の平均改善を達成し、オープンウェブ検索ドメインの自己進化エージェントの能力へのドアを開けることを示しています。

要約(オリジナル)

The rapid advancement of large language models (LLMs) has transformed the landscape of agentic information seeking capabilities through the integration of tools such as search engines and web browsers. However, current mainstream approaches for enabling LLM web search proficiency face significant challenges: supervised fine-tuning struggles with data production in open-search domains, while RL converges quickly, limiting their data utilization efficiency. To address these issues, we propose EvolveSearch, a novel iterative self-evolution framework that combines SFT and RL to enhance agentic web search capabilities without any external human-annotated reasoning data. Extensive experiments on seven multi-hop question-answering (MHQA) benchmarks demonstrate that EvolveSearch consistently improves performance across iterations, ultimately achieving an average improvement of 4.7\% over the current state-of-the-art across seven benchmarks, opening the door to self-evolution agentic capabilities in open web search domains.

arxiv情報

著者 Dingchu Zhang,Yida Zhao,Jialong Wu,Baixuan Li,Wenbiao Yin,Liwen Zhang,Yong Jiang,Yufeng Li,Kewei Tu,Pengjun Xie,Fei Huang
発行日 2025-05-28 15:50:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | EvolveSearch: An Iterative Self-Evolving Search Agent はコメントを受け付けていません

Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models

投稿日: 2025年5月29日 作成者: jarxiv

要約

Word2vecなどの自己監視ワード埋め込みアルゴリズムは、言語モデリングの表現学習を研究するための最小限の設定を提供します。
Originの周りのWord2Vec損失のQuartic Taylor近似を調べ、結果のトレーニングダイナミクスとダウンストリームタスクの最終パフォーマンスの両方が、Word2VECのものと経験的に非常に類似していることを示します。
私たちの主な貢献は、勾配フロートレーニングのダイナミクスと、コーパス統計とトレーニングハイパーパラメーターのみの観点からの最終的な単語埋め込みの両方を分析的に解決することです。
ソリューションは、これらのモデルが直交線形サブスペースを一度に1つずつ学習し、それぞれがモデル容量が飽和するまで埋め込みの有効ランクを増加させることを明らかにしています。
ウィキペディアでのトレーニングでは、最上部の線形サブスペースのそれぞれが解釈可能なトピックレベルの概念を表していることがわかります。
最後に、私たちの理論を適用して、トレーニング中により抽象的なセマンティック概念の線形表現がどのように出現するかを説明します。
これらは、ベクターの加算を介して類推を完了するために使用できます。

要約(オリジナル)

Self-supervised word embedding algorithms such as word2vec provide a minimal setting for studying representation learning in language modeling. We examine the quartic Taylor approximation of the word2vec loss around the origin, and we show that both the resulting training dynamics and the final performance on downstream tasks are empirically very similar to those of word2vec. Our main contribution is to analytically solve for both the gradient flow training dynamics and the final word embeddings in terms of only the corpus statistics and training hyperparameters. The solutions reveal that these models learn orthogonal linear subspaces one at a time, each one incrementing the effective rank of the embeddings until model capacity is saturated. Training on Wikipedia, we find that each of the top linear subspaces represents an interpretable topic-level concept. Finally, we apply our theory to describe how linear representations of more abstract semantic concepts emerge during training; these can be used to complete analogies via vector addition.

arxiv情報

著者 Dhruva Karkada,James B. Simon,Yasaman Bahri,Michael R. DeWeese
発行日 2025-05-28 15:55:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, stat.ML | Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models はコメントを受け付けていません

Reasoning Is Not All You Need: Examining LLMs for Multi-Turn Mental Health Conversations

投稿日: 2025年5月29日 作成者: jarxiv

要約

メンタルヘルスケアへのアクセスが制限され、待ち時間の延長、大規模な言語モデル（LLMS）の能力の向上により、個人はメンタルヘルスのニーズを満たすためにLLMSに目を向けるようになりました。
ただし、LLMSのマルチターンメンタルヘルスの会話機能を調べることは、依然として推奨されていません。
既存の評価フレームワークは通常、診断の正確さと勝利に焦点を当てており、多くの場合、意味のある会話に必要な患者固有の目標、価値、性格との調整を見落とします。
これに対処するために、現実的でマルチターンメンタルヘルスセンスメイキングの会話を合成するための新しいフレームワークであるMedagentを紹介し、それを使用して、2,200を超える患者-LLM会話を含むメンタルヘルスセンスメイキングダイアログ（MHSD）データセットを作成します。
さらに、人間中心の基準を使用して、ヘルスケア設定におけるLLMSのマルチターン会話能力を評価するための全体的な枠組みである多senseevalを提示します。
私たちの調査結果は、フロンティアの推論モデルが患者中心のコミュニケーションのPAR以下のパフォーマンスをもたらし、平均スコアが31％の高度な診断能力での闘争をもたらすことを明らかにしています。
さらに、患者のペルソナとパフォーマンスの低下に基づいたモデルパフォーマンスの変動が、会話のターンの増加に伴い観察されました。
私たちの仕事は、包括的な合成データ生成フレームワーク、マルチターンメンタルヘルス会話におけるLLMを評価するためのデータセットおよび評価フレームワークを提供します。

要約(オリジナル)

Limited access to mental healthcare, extended wait times, and increasing capabilities of Large Language Models (LLMs) has led individuals to turn to LLMs for fulfilling their mental health needs. However, examining the multi-turn mental health conversation capabilities of LLMs remains under-explored. Existing evaluation frameworks typically focus on diagnostic accuracy and win-rates and often overlook alignment with patient-specific goals, values, and personalities required for meaningful conversations. To address this, we introduce MedAgent, a novel framework for synthetically generating realistic, multi-turn mental health sensemaking conversations and use it to create the Mental Health Sensemaking Dialogue (MHSD) dataset, comprising over 2,200 patient-LLM conversations. Additionally, we present MultiSenseEval, a holistic framework to evaluate the multi-turn conversation abilities of LLMs in healthcare settings using human-centric criteria. Our findings reveal that frontier reasoning models yield below-par performance for patient-centric communication and struggle at advanced diagnostic capabilities with average score of 31%. Additionally, we observed variation in model performance based on patient’s persona and performance drop with increasing turns in the conversation. Our work provides a comprehensive synthetic data generation framework, a dataset and evaluation framework for assessing LLMs in multi-turn mental health conversations.

arxiv情報

著者 Mohit Chandra,Siddharth Sriraman,Harneet Singh Khanuja,Yiqiao Jin,Munmun De Choudhury
発行日 2025-05-28 15:55:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Reasoning Is Not All You Need: Examining LLMs for Multi-Turn Mental Health Conversations はコメントを受け付けていません

Multi-MLLM Knowledge Distillation for Out-of-Context News Detection

投稿日: 2025年5月29日 作成者: jarxiv

要約

マルチモーダルのコンテキスト外ニュースは、元のコンテキストの外で画像が使用される誤った情報の一種です。
多くの既存の作品は、コンテキスト外のニュースを検出するためにマルチモーダル大手言語モデル（MLLMS）を活用しています。
ただし、より小さなMLLMのゼロショットパフォーマンスが限られていることを観察すると、一般に、GPTモデルへのラベルが豊富な微調整および/または高価なAPI呼び出しが、低リソースシナリオでは実用的ではないパフォーマンスを改善する必要があります。
対照的に、よりラベル効率の良い費用対効果の高い方法で、小さなMLLMのパフォーマンスを改善することを目指しています。
この目的のために、最初に複数の教師MLLMSに、教師の知識として集合的に機能するラベル予測と対応する合理的根拠の両方を生成するように促します。
次に、この知識を学生MLLMに転送するために、2段階の知識蒸留フレームワークを導入します。
ステージ1では、すべてのトレーニングデータを使用して、学生モデルにLora微調整を適用します。
ステージ2では、教師の予測が競合するデータポイントでLORA微調整とDPOの両方を使用して、学生モデルをさらに微調整します。
この2段階の戦略は、注釈コストを削減し、より困難なケースで学生モデルが微妙なパターンを明らかにするのに役立ちます。
実験結果は、私たちのアプローチが10％未満のラベル付きデータを使用して最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Multimodal out-of-context news is a type of misinformation in which the image is used outside of its original context. Many existing works have leveraged multimodal large language models (MLLMs) for detecting out-of-context news. However, observing the limited zero-shot performance of smaller MLLMs, they generally require label-rich fine-tuning and/or expensive API calls to GPT models to improve the performance, which is impractical in low-resource scenarios. In contrast, we aim to improve the performance of small MLLMs in a more label-efficient and cost-effective manner. To this end, we first prompt multiple teacher MLLMs to generate both label predictions and corresponding rationales, which collectively serve as the teachers’ knowledge. We then introduce a two-stage knowledge distillation framework to transfer this knowledge to a student MLLM. In Stage 1, we apply LoRA fine-tuning to the student model using all training data. In Stage 2, we further fine-tune the student model using both LoRA fine-tuning and DPO on the data points where teachers’ predictions conflict. This two-stage strategy reduces annotation costs and helps the student model uncover subtle patterns in more challenging cases. Experimental results demonstrate that our approach achieves state-of-the-art performance using less than 10% labeled data.

arxiv情報

著者 Yimeng Gu,Zhao Tong,Ignacio Castro,Shu Wu,Gareth Tyson
発行日 2025-05-28 16:03:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.MM | Multi-MLLM Knowledge Distillation for Out-of-Context News Detection はコメントを受け付けていません

Emotion-o1: Adaptive Long Reasoning for Emotion Understanding in LLMs

投稿日: 2025年5月29日 作成者: jarxiv

要約

感情の理解には、基本的なタスク（感情/感情分類など）および高度なタスク（皮肉/ユーモアの検出など）が含まれます。
現在の方法は、固定長のCOT推論に依存しており、さまざまな複雑さの感情に適応できません。
DeepSeek-R1を採用して、さまざまな感情タスクのさまざまな長さの推論チェーンを生成するタスクに適した推論フレームワークを提案します。
微調整と強化学習を組み合わせることにより、予測精度、適応的推論深度制御、推論パスの構造的多様性、および反復論理の抑制という4つの目的をバランスする複合報酬関数を設計します。
このアプローチは、LLMが深い推論能力を自律的に開発できるようにしながら、動的なコンテキストに敏感な推論を実現します。
実験結果は、感情、感情、ユーモア、皮肉の4つのタスクにわたるACCとF1の両方のスコアの一貫した改善を示しています。
特に、基本タスクでは3.56％F1（2.76％ACC）、高度なタスクでは37.95％F1（23.14％ACC）に達しました。
私たちの仕事は、適応的な深い分析を通じて、厳格なベッドコットの推論と感情的な複雑さを橋渡しします。

要約(オリジナル)

Emotion understanding includes basic tasks (e.g., sentiment/emotion classification) and advanced tasks (e.g., sarcasm/humor detection). Current methods rely on fixed-length CoT reasoning, failing to adapt to the varying complexity of emotions. We propose a task-adaptive reasoning framework that employs DeepSeek-R1 to generate variable-length reasoning chains for different emotion tasks. By combining fine-tuning with reinforcement learning, we design a composite reward function that balances four objectives: prediction accuracy, adaptive reasoning depth control, structural diversity in reasoning paths, and suppression of repetitive logic. This approach achieves dynamic context-sensitive inference while enabling LLMs to autonomously develop deep reasoning capabilities. Experimental results demonstrate consistent improvements in both Acc and F1 scores across four tasks: emotion, sentiment, humor, and sarcasm. Notably, peak enhancements reached 3.56% F1 (2.76% Acc) for basic tasks and 37.95% F1 (23.14% Acc) for advanced tasks. Our work bridges rigid CoT reasoning and emotional complexity through adaptive-depth analysis.

arxiv情報

著者 Changhao Song,Yazhou Zhang,Peng Zhang
発行日 2025-05-28 16:32:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Emotion-o1: Adaptive Long Reasoning for Emotion Understanding in LLMs はコメントを受け付けていません

Do Large Language Models Think Like the Brain? Sentence-Level Evidence from fMRI and Hierarchical Embeddings

投稿日: 2025年5月29日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）と人間の脳が同様の計算原理に合わせて収束するかどうかを理解することは、認知神経科学とAIにおける根本的かつ重要な問題のままです。
LLMSで観察される脳のようなパターンは、単にスケーリングから現れますか、それとも人間の言語処理のアーキテクチャとのより深い整合性を反映していますか？
この研究は、言語モデルの文レベルの神経メカニズムに焦点を当て、LLMの階層表現が人間の文の理解中の動的な神経応答とどのように整合するかを体系的に調査します。
自然主義的な物語の物語にさらされた参加者から収集されたfMRIデータを持つ14の公開されたLLMの階層埋め込みを比較することにより、脳領域の活性化と最も有意に相関するモデル層を正確に特定するために、文レベルの神経予測モデルを構築しました。
結果は、モデルパフォーマンスの改善が脳のような階層への表現アーキテクチャの進化を促進し、特により高いセマンティック抽象化レベルでより強力な機能的および解剖学的対応を達成することを示しています。

要約(オリジナル)

Understanding whether large language models (LLMs) and the human brain converge on similar computational principles remains a fundamental and important question in cognitive neuroscience and AI. Do the brain-like patterns observed in LLMs emerge simply from scaling, or do they reflect deeper alignment with the architecture of human language processing? This study focuses on the sentence-level neural mechanisms of language models, systematically investigating how hierarchical representations in LLMs align with the dynamic neural responses during human sentence comprehension. By comparing hierarchical embeddings from 14 publicly available LLMs with fMRI data collected from participants, who were exposed to a naturalistic narrative story, we constructed sentence-level neural prediction models to precisely identify the model layers most significantly correlated with brain region activations. Results show that improvements in model performance drive the evolution of representational architectures toward brain-like hierarchies, particularly achieving stronger functional and anatomical correspondence at higher semantic abstraction levels.

arxiv情報

著者 Yu Lei,Xingyang Ge,Yi Zhang,Yiming Yang,Bolei Ma
発行日 2025-05-28 16:40:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, q-bio.NC | Do Large Language Models Think Like the Brain? Sentence-Level Evidence from fMRI and Hierarchical Embeddings はコメントを受け付けていません

TLUE: A Tibetan Language Understanding Evaluation Benchmark

投稿日: 2025年5月29日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は近年大きな進歩を遂げていますが、チベット語などの低リソース言語は、評価において著しく過小評価されています。
チベット人は700万人以上の人々によって話されていますが、LLMの開発と評価においてほとんど無視されてきました。
このギャップに対処するために、チベット語でLLMSの機能を評価するための最初の大規模なベンチマークであるTLUE（チベット語理解評価ベンチマーク）を提示します。
TLUEは、2つの主要なコンポーネントで構成されています。（1）5つのドメインと67のサブドメインにまたがる包括的なマルチタスク理解ベンチマーク、および（2）7サブドメインをカバーする安全ベンチマーク。
最先端のLLMの多様なセットを評価します。
実験結果は、ほとんどのLLMがランダムベースラインの下を下回ることを示しており、LLMSが低資源言語であるチベット語を処理する際に直面するかなりの課題を強調しています。
TLUEは、チベット語の言語理解における将来の研究と進歩を推進するための重要な基盤を提供し、LLM開発におけるより大きな包括性の必要性を強調しています。

要約(オリジナル)

Large language models (LLMs) have made tremendous progress in recent years, but low-resource languages, such as Tibetan, remain significantly underrepresented in their evaluation. Despite Tibetan being spoken by over seven million people, it has largely been neglected in the development and assessment of LLMs. To address this gap, we present TLUE (A Tibetan Language Understanding Evaluation Benchmark), the first large-scale benchmark for assessing LLMs’ capabilities in Tibetan. TLUE comprises two major components: (1) a comprehensive multi-task understanding benchmark spanning 5 domains and 67 subdomains, and (2) a safety benchmark covering 7 subdomains. We evaluate a diverse set of state-of-the-art LLMs. Experimental results demonstrate that most LLMs perform below the random baseline, highlighting the considerable challenges LLMs face in processing Tibetan, a low-resource language. TLUE provides an essential foundation for driving future research and progress in Tibetan language understanding and underscores the need for greater inclusivity in LLM development.

arxiv情報

著者 Fan Gao,Cheng Huang,Nyima Tashi,Xiangxiang Wang,Thupten Tsering,Ban Ma-bao,Renzeg Duojie,Gadeng Luosang,Rinchen Dongrub,Dorje Tashi,Hao Wang Xiao Feng,Yongbin Yu
発行日 2025-05-28 16:40:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | TLUE: A Tibetan Language Understanding Evaluation Benchmark はコメントを受け付けていません

Less, but Better: Efficient Multilingual Expansion for LLMs via Layer-wise Mixture-of-Experts

投稿日: 2025年5月29日 作成者: jarxiv

要約

既存の大型言語モデル（LLMS）の新しい言語を継続的に拡大することは、強力な多言語LLMを構築するための有望でありながら挑戦的なアプローチです。
最大の課題は、古い言語の熟練した能力を維持しながら、モデルを継続的に新しい言語を学習させることです。
これを達成するために、最近の研究では、新しい専門家を追加することで新しい言語を拡張し、元のモデルバックボーン（古い専門家）に対応するトークンをルーティングすることにより、古い言語の壊滅的な忘れを避けるために、専門家（MOE）の混合物（MOE）アーキテクチャを利用しています。
直感的ではありますが、この種の方法は、新しい言語を拡張するときにパラメーターコストであり、まだ古い言語のパフォーマンスに影響を与えます。
これらの制限に対処するために、LLMSのさまざまなレイヤーの言語特性を分析し、レイヤーワーカスの専門家配分アルゴリズム（Layermoe）を提案して、各レイヤーの新しい専門家の適切な数を決定します。
具体的には、LLMの異なるレイヤーが言語間で異なる表現の類似性を示し、各レイヤーに専門家を割り当てるインジケータとしての類似性、つまり類似性が高いほど専門家が少ないことがわかります。
さらに、古い言語の忘却をさらに緩和するために、レイヤー上のルーターネットワークの前に分類器を追加し、古い言語トークンのルーティングを導くために類似性が高くなります。
実験結果は、私たちの方法が以前の最先端のベースラインよりも優れていることを示しています。単一拡張設定の専門家が60％少なく、生涯拡大設定の専門家が33.3％少なく、私たちの方法の有効性を示しています。

要約(オリジナル)

Continually expanding new languages for existing large language models (LLMs) is a promising yet challenging approach to building powerful multilingual LLMs. The biggest challenge is to make the model continuously learn new languages while preserving the proficient ability of old languages. To achieve this, recent work utilizes the Mixture-of-Experts (MoE) architecture to expand new languages by adding new experts and avoid catastrophic forgetting of old languages by routing corresponding tokens to the original model backbone (old experts). Although intuitive, this kind of method is parameter-costly when expanding new languages and still inevitably impacts the performance of old languages. To address these limitations, we analyze the language characteristics of different layers in LLMs and propose a layer-wise expert allocation algorithm (LayerMoE) to determine the appropriate number of new experts for each layer. Specifically, we find different layers in LLMs exhibit different representation similarities between languages and then utilize the similarity as the indicator to allocate experts for each layer, i.e., the higher similarity, the fewer experts. Additionally, to further mitigate the forgetting of old languages, we add a classifier in front of the router network on the layers with higher similarity to guide the routing of old language tokens. Experimental results show that our method outperforms the previous state-of-the-art baseline with 60% fewer experts in the single-expansion setting and with 33.3% fewer experts in the lifelong-expansion setting, demonstrating the effectiveness of our method.

arxiv情報

著者 Xue Zhang,Yunlong Liang,Fandong Meng,Songming Zhang,Yufeng Chen,Jinan Xu,Jie Zhou
発行日 2025-05-28 16:54:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Less, but Better: Efficient Multilingual Expansion for LLMs via Layer-wise Mixture-of-Experts はコメントを受け付けていません