CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers

投稿日: 2025年4月10日 作成者: jarxiv

要約

変圧器は、自然言語処理とコンピュータービジョンの顕著なブレークスルーを駆動していますが、標準的な注意メカニズムは依然としてO（n^2）の複雑さを課し、より長いシーケンスにスケーラビリティを妨げます。
表現力を犠牲にすることなく複雑さを減らすために循環畳み込みを効率的に適用するフーリエベースのアプローチである円形の巻き込みの注意（CAT）を紹介します。
CATはO（nlogn）計算を達成し、完全に接続されたレイヤーを合理化することにより学習可能なパラメーターが少なくなり、より重い操作が導入されないため、Imagenet-1KやWikitext-103などの大規模なベンチマークでのナイーブなPytorchの実装での一貫した精度の改善と約10％のスピードアップが得られます。
Engineering-somorphism Frameworkに基づいて、CATのデザインは、実用的な効率と実装の容易さを提供するだけでなく、次世代の高性能変圧器アーキテクチャの開発を導く洞察も提供します。
最後に、私たちのアブレーション研究は、猫の成功の根底にある重要な条件を強調し、スケーラブルな注意メカニズムのためのより広い原則に光を当てています。

要約(オリジナル)

Transformers have driven remarkable breakthroughs in natural language processing and computer vision, yet their standard attention mechanism still imposes O(N^2) complexity, hindering scalability to longer sequences. We introduce Circular-convolutional ATtention (CAT), a Fourier-based approach that efficiently applies circular convolutions to reduce complexity without sacrificing representational power. CAT achieves O(NlogN) computations, requires fewer learnable parameters by streamlining fully-connected layers, and introduces no heavier operations, resulting in consistent accuracy improvements and about a 10% speedup in naive PyTorch implementations on large-scale benchmarks such as ImageNet-1k and WikiText-103. Grounded in an engineering-isomorphism framework, CAT’s design not only offers practical efficiency and ease of implementation but also provides insights to guide the development of next-generation, high-performance Transformer architectures. Finally, our ablation studies highlight the key conditions underlying CAT’s success, shedding light on broader principles for scalable attention mechanisms.

arxiv情報

著者 Yoshihiro Yamada
発行日 2025-04-09 09:08:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CV, cs.LG | CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers はコメントを受け付けていません

GWQ: Gradient-Aware Weight Quantization for Large Language Models

投稿日: 2025年4月10日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、複雑な言語タスクの解決において印象的なパフォーマンスを示しています。
ただし、その多数のパラメーターは、展開に大きな課題を示しています。
そのため、LLMSを低ビットに圧縮すると、リソースが制約のあるデバイスに展開できます。
この問題に対処するために、勾配を使用するための勾配を活用する低ビット重量量子化の最初の量子化アプローチであるグラジエントアウェア重量量子化（GWQ）を提案します。
GWQは、FP16精度で優先的に上位1 \％の外れ値を保持しますが、残りの非頻繁な重量は低ビットに保存されます。
言語モデリング、接地検出、大規模なマルチタスク言語の理解、視覚言語の質問、および回答など、さまざまなタスクでGWQを広く評価します。
結果は、GWQによって定量化されたモデルが他の量子化法よりも優れたパフォーマンスを示していることを示しています。
量子化プロセス中、GWQは効果的な量を実現するために1つのキャリブレーションセットのみが必要です。
また、GWQは、元のモデルと比較して1.2倍の推論スピードアップを達成し、推論メモリを効果的に削減します。

要約(オリジナル)

Large language models (LLMs) show impressive performance in solving complex language tasks. However, its large number of parameters presents significant challenges for the deployment. So, compressing LLMs to low bits can enable to deploy on resource-constrained devices. To address this problem, we propose gradient-aware weight quantization (GWQ), the first quantization approach for low-bit weight quantization that leverages gradients to localize outliers, requiring only a minimal amount of calibration data for outlier detection. GWQ retains the top 1\% outliers preferentially at FP16 precision, while the remaining non-outlier weights are stored in a low-bit. We widely evaluate GWQ on different task include language modeling, grounding detection, massive multitask language understanding and vision-language question and answering. Results show that models quantified by GWQ performs better than other quantization method. During quantization process, GWQ only need one calibration set to realize effective quant. Also, GWQ achieves 1.2x inference speedup in comparison to the original model and effectively reduces the inference memory.

arxiv情報

著者 Yihua Shao,Yan Gu,Siyu Chen,Haiyang Liu,Zijian Ling,Minxi Yan,Ziyang Yan,Chenyu Zhang,Michele Magno,Haotong Qin,Yan Wang,Jingcai Guo,Ling Shao,Hao Tang
発行日 2025-04-09 09:09:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | GWQ: Gradient-Aware Weight Quantization for Large Language Models はコメントを受け付けていません

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

投稿日: 2025年4月10日 作成者: jarxiv

要約

長いコンテキストの処理は、大規模な言語モデル（LLMS）にとって重要な課題です。
最近の進歩により、LLMは以前よりもはるかに長いコンテキスト（32Kまたは128Kトークンなど）を処理することができますが、計算的に高価であり、多くのアプリケーションではまだ不十分です。
検索された生成（RAG）は、この問題に対処するための有望な戦略と考えられています。
ただし、従来のRAGメソッドは、2つの根本的な要件のために固有の制限に直面しています。1）明示的に述べられたクエリと2）十分に構造化された知識。
ただし、これらの条件は、一般的に長いコンテキスト処理タスクを保持していません。
この作業では、グローバルメモリの高度検索に力を与えた新しいぼろきれのフレームワークであるメモグを提案します。
メモラグは、デュアルシステムアーキテクチャを備えています。
まず、長いコンテキストのグローバルなメモリを作成するために、軽いが長距離システムを使用します。
タスクが提示されると、ドラフトの回答が生成され、検索ツールが長いコンテキスト内で関連情報を見つけるための有用な手がかりを提供します。
第二に、それは高価であるが表現力豊かなシステムを活用して、取得した情報に基づいて最終的な答えを生成します。
この基本的なフレームワークに基づいて、KV圧縮の形でメモリモジュールを実現し、Generation Qualityのフィードバック（別名RLGF）からの暗記能力を強化します。
私たちの実験では、メモラグは、従来のぼろきれの方法が苦労している複雑なシナリオだけでなく、ラグが通常適用されるよりシンプルなシナリオだけでなく、さまざまな長いコンテスト評価タスクで優れたパフォーマンスを実現します。

要約(オリジナル)

Processing long contexts presents a significant challenge for large language models (LLMs). While recent advancements allow LLMs to handle much longer contexts than before (e.g., 32K or 128K tokens), it is computationally expensive and can still be insufficient for many applications. Retrieval-Augmented Generation (RAG) is considered a promising strategy to address this problem. However, conventional RAG methods face inherent limitations because of two underlying requirements: 1) explicitly stated queries, and 2) well-structured knowledge. These conditions, however, do not hold in general long-context processing tasks. In this work, we propose MemoRAG, a novel RAG framework empowered by global memory-augmented retrieval. MemoRAG features a dual-system architecture. First, it employs a light but long-range system to create a global memory of the long context. Once a task is presented, it generates draft answers, providing useful clues for the retrieval tools to locate relevant information within the long context. Second, it leverages an expensive but expressive system, which generates the final answer based on the retrieved information. Building upon this fundamental framework, we realize the memory module in the form of KV compression, and reinforce its memorization and cluing capacity from the Generation quality’s Feedback (a.k.a. RLGF). In our experiments, MemoRAG achieves superior performances across a variety of long-context evaluation tasks, not only complex scenarios where traditional RAG methods struggle, but also simpler ones where RAG is typically applied.

arxiv情報

著者 Hongjin Qian,Zheng Liu,Peitian Zhang,Kelong Mao,Defu Lian,Zhicheng Dou,Tiejun Huang
発行日 2025-04-09 09:09:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation はコメントを受け付けていません

CroissantLLM: A Truly Bilingual French-English Language Model

投稿日: 2025年4月10日 作成者: jarxiv

要約

3T英語とフランスのトークンのセットで前処理された1.3B言語モデルであるCroissantlllmを紹介し、研究と産業コミュニティに、消費者グレードのローカルハードウェアを迅速に実行する高性能で完全にオープンソースのバイリンガルモデルをもたらします。
そのために、1：1の英語とフランスの事前削除データ、カスタムトークネザー、バイリンガルの微調整データセットを使用して、本質的にバイリンガルモデルをトレーニングするアプローチを開拓します。
トレーニングデータセットをリリースします。特に、手動でキュレーションされた高品質でさまざまなデータソースを備えたフランスの分割が含まれています。
英語以外のパフォーマンスを評価するために、私たちは、フランス語のモデルパフォーマンスのさまざまな直交側面をカバーする、分類と生成のタスクの配列で構成される新しいベンチマークであるフレンチベンチを作成します。
さらに、透明性に根ざし、さらに大規模な言語モデルの研究を促進するために、さまざまなモデルサイズ、トレーニングデータ分布、トレーニングステップ、微調整されたチャットモデル、強力な翻訳モデルにわたってコードベースと数十のチェックポイントをリリースします。
FMTIフレームワークを通じてモデルを評価し、透明性基準の81％を検証します。これは、ほとんどのオープンイニシアチブのスコアをはるかに超えています。
この作品は、NLPの風景を豊かにし、言語モデルの多言語性の理解を強化するために、以前の英語中心の仕事から脱却します。

要約(オリジナル)

We introduce CroissantLLM, a 1.3B language model pretrained on a set of 3T English and French tokens, to bring to the research and industrial community a high-performance, fully open-sourced bilingual model that runs swiftly on consumer-grade local hardware. To that end, we pioneer the approach of training an intrinsically bilingual model with a 1:1 English-to-French pretraining data ratio, a custom tokenizer, and bilingual finetuning datasets. We release the training dataset, notably containing a French split with manually curated, high-quality, and varied data sources. To assess performance outside of English, we craft a novel benchmark, FrenchBench, consisting of an array of classification and generation tasks, covering various orthogonal aspects of model performance in the French Language. Additionally, rooted in transparency and to foster further Large Language Model research, we release codebases, and dozens of checkpoints across various model sizes, training data distributions, and training steps, as well as fine-tuned Chat models, and strong translation models. We evaluate our model through the FMTI framework, and validate 81 % of the transparency criteria, far beyond the scores of even most open initiatives. This work enriches the NLP landscape, breaking away from previous English-centric work in order to strengthen our understanding of multilinguality in language models.

arxiv情報

著者 Manuel Faysse,Patrick Fernandes,Nuno M. Guerreiro,António Loison,Duarte M. Alves,Caio Corro,Nicolas Boizard,João Alves,Ricardo Rei,Pedro H. Martins,Antoni Bigata Casademunt,François Yvon,André F. T. Martins,Gautier Viaud,Céline Hudelot,Pierre Colombo
発行日 2025-04-09 09:45:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | CroissantLLM: A Truly Bilingual French-English Language Model はコメントを受け付けていません

Synthetic News Generation for Fake News Classification

投稿日: 2025年4月10日 作成者: jarxiv

要約

この研究では、大規模な言語モデル（LLM）を使用した事実ベースの操作を通じて、合成偽ニュースの生成と評価を調査します。
実際の記事から重要な事実を抽出し、それらを変更し、コンテンツを再生して一貫性を維持しながら偽のニュースをシミュレートする新しい方法論を紹介します。
生成されたコンテンツの品質を評価するために、一連の評価メトリックの一貫性、非類似性、および正確性を提案します。
この研究では、偽のニュース分類における合成データの適用も調査し、従来の機械学習モデルとBertなどの変圧器ベースのモデルを比較しています。
私たちの実験は、変圧器モデル、特にBertが偽のニュース検出のために合成データを効果的に活用し、合成データの割合が少ない改善を示すことを示しています。
さらに、事実の矛盾を特定することに焦点を当てた事実検証機能は、合成偽のニュースを区別する最も有望な結果を提供します。
この研究は、偽のニュース検出システムを強化する合成データの可能性を強調し、将来の研究のための貴重な洞察を提供し、合成データ生成のターゲットを絞った改善が検出モデルをさらに強化できることを示唆しています。

要約(オリジナル)

This study explores the generation and evaluation of synthetic fake news through fact based manipulations using large language models (LLMs). We introduce a novel methodology that extracts key facts from real articles, modifies them, and regenerates content to simulate fake news while maintaining coherence. To assess the quality of the generated content, we propose a set of evaluation metrics coherence, dissimilarity, and correctness. The research also investigates the application of synthetic data in fake news classification, comparing traditional machine learning models with transformer based models such as BERT. Our experiments demonstrate that transformer models, especially BERT, effectively leverage synthetic data for fake news detection, showing improvements with smaller proportions of synthetic data. Additionally, we find that fact verification features, which focus on identifying factual inconsistencies, provide the most promising results in distinguishing synthetic fake news. The study highlights the potential of synthetic data to enhance fake news detection systems, offering valuable insights for future research and suggesting that targeted improvements in synthetic data generation can further strengthen detection models.

arxiv情報

著者 Abdul Sittar,Luka Golob,Mateja Smiljanic
発行日 2025-04-09 09:45:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Synthetic News Generation for Fake News Classification はコメントを受け付けていません

PingPong: A Benchmark for Role-Playing Language Models with User Emulation and Multi-Model Evaluation

投稿日: 2025年4月10日 作成者: jarxiv

要約

言語モデルのロールプレイング機能を評価するためのベンチマークを紹介します。
私たちのアプローチは、さまざまな言語モデルを活用して、動的でマルチターンの会話でユーザーをシミュレートし、結果の対話を評価します。
私たちの方法論には、特定の文字ロールを採用するプレーヤーモデル、特定の状況でのユーザーの行動をシミュレートする尋問モデル、およびキャラクターの一貫性、エンターテイメント価値、言語流ency性の3つのメトリックで会話の品質を評価する裁判官モデルのアンサンブル：3つの主要なコンポーネントが含まれます。
英語とロシア語の両方で40以上のモデルを評価し、各モデルは8文字と8文字の64の会話に参加しました。
自動化された評価を人間の注釈と比較して、アプローチを検証する実験を実施し、複数の基準にわたる強い相関関係を示しました。
この作業は、インタラクティブなシナリオにおけるさまざまなモデル機能の堅牢で動的な評価の基盤を提供します。

要約(オリジナル)

We introduce a benchmark for evaluating the role-playing capabilities of language models. Our approach leverages different language models to simulate users in dynamic, multi-turn conversations and assess the resulting dialogues. Our methodology involves three main components: a player model that adopts a specific character role, an interrogator model that simulates user behavior in a specific situation, and a judge model ensemble that evaluates conversation quality with 3 metrics: character consistency, entertainment value, and language fluency. We evaluated more than 40 models in both English and Russian, with each model participating in 64 conversations with 8 characters and 8 situations. We conducted experiments comparing automated evaluations with human annotations to validate our approach, demonstrating strong correlations across multiple criteria. This work provides a foundation for a robust and dynamic evaluation of different model capabilities in interactive scenarios.

arxiv情報

著者 Ilya Gusev
発行日 2025-04-09 10:02:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | PingPong: A Benchmark for Role-Playing Language Models with User Emulation and Multi-Model Evaluation はコメントを受け付けていません

Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry

投稿日: 2025年4月10日 作成者: jarxiv

要約

自然言語加工（NLP）の急速に進化する景観では、大量のテキストデータから貴重な洞察を抽出するなど、多くのタスクの強力なツールとして大規模な言語モデル（LLM）が浮上しています。
この調査では、TripAdvisorおよびRedditの投稿から旅行顧客のニーズを抽出するためのLLMの比較分析を実施します。
GPT-4やGeminiなどのオープンソースや独自のモデルの両方を含む多様なモデルを活用すると、この専門ドメインの長所と短所を解明することを目指しています。
Bertscore、Rouge、BLEUなどのメトリックを含む評価プロセスを通じて、顧客のニーズを正確に識別および要約する際に、各モデルのパフォーマンスを評価します。
私たちの調査結果は、手頃な価格とカスタマイズの利点を提供しながら、より大きなクローズドモデルに匹敵するパフォーマンスを達成する際に、OpenSource LLM、特にMistral 7Bの有効性を強調しています。
さらに、顧客ニーズ分析タスクに最適なLLMを選択する際に、モデルサイズ、リソース要件、パフォーマンスメトリックなどの要因を考慮することの重要性を強調します。
全体として、この研究は、高度なNLPテクニックを活用して、旅行業界の顧客体験を強化し、運用効率を高めることを目指している企業にとって貴重な洞察を提供しています。

要約(オリジナル)

In the rapidly evolving landscape of Natural Language Processing (NLP), Large Language Models (LLMs) have emerged as powerful tools for many tasks, such as extracting valuable insights from vast amounts of textual data. In this study, we conduct a comparative analysis of LLMs for the extraction of travel customer needs from TripAdvisor and Reddit posts. Leveraging a diverse range of models, including both open-source and proprietary ones such as GPT-4 and Gemini, we aim to elucidate their strengths and weaknesses in this specialized domain. Through an evaluation process involving metrics such as BERTScore, ROUGE, and BLEU, we assess the performance of each model in accurately identifying and summarizing customer needs. Our findings highlight the efficacy of opensource LLMs, particularly Mistral 7B, in achieving comparable performance to larger closed models while offering affordability and customization benefits. Additionally, we underscore the importance of considering factors such as model size, resource requirements, and performance metrics when selecting the most suitable LLM for customer needs analysis tasks. Overall, this study contributes valuable insights for businesses seeking to leverage advanced NLP techniques to enhance customer experience and drive operational efficiency in the travel industry.

arxiv情報

著者 Simone Barandoni,Filippo Chiarello,Lorenzo Cascone,Emiliano Marrale,Salvatore Puccio
発行日 2025-04-09 10:21:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC, cs.LG | Automating Customer Needs Analysis: A Comparative Study of Large Language Models in the Travel Industry はコメントを受け付けていません

FamilyTool: A Multi-hop Personalized Tool Use Benchmark

投稿日: 2025年4月10日 作成者: jarxiv

要約

ツール学習を大規模な言語モデル（LLMS）と統合すると、外部ツールを活用することにより、複雑なタスクの処理に能力が拡大しました。
ただし、ツール学習のための既存のベンチマークは、重要な実世界のパーソナライズされたシナリオ、特に動的環境でのマルチホップ推論と帰納的知識適応を必要とするシナリオに対処しません。
このギャップを埋めるために、パーソナライズされたマルチホップツールの使用シナリオをシミュレートするファミリーベースの知識グラフ（kg）に基づいた新しいベンチマークであるFamilyToolを紹介します。
FamilyToolは、1〜3のリレーショナルホップ（例えば、家族のつながりや好みを推測する）にまたがるクエリでLLMSに挑戦し、モデルが目に見えないユーザーの好みや関係に適応しなければならない誘導KG設定を組み込みます。
さらに、Kgetoolを提案します。これらの設定でLLMSのツール使用能力を体系的に評価するための単純なKGの高等評価パイプライン。
実験により、最先端のLLMSの重大なパフォーマンスギャップが明らかになり、ホップの複雑さが増加すると精度が急激に低下し、誘導シナリオが重度の一般化障害を明らかにします。
これらの調査結果は、パーソナライズされた進化する実世界のコンテキストを処理する際の現在のLLMの限界を強調し、ツール学習フレームワークの進歩の緊急の必要性を強調しています。
FamilyToolは、複雑で動的な環境におけるLLMエージェントの推論、適応性、およびスケーラビリティを評価および前進させるための重要なリソースとして機能します。
コードとデータセットはGitHubで入手できます。

要約(オリジナル)

The integration of tool learning with Large Language Models (LLMs) has expanded their capabilities in handling complex tasks by leveraging external tools. However, existing benchmarks for tool learning inadequately address critical real-world personalized scenarios, particularly those requiring multi-hop reasoning and inductive knowledge adaptation in dynamic environments. To bridge this gap, we introduce FamilyTool, a novel benchmark grounded in a family-based knowledge graph (KG) that simulates personalized, multi-hop tool use scenarios. FamilyTool challenges LLMs with queries spanning 1 to 3 relational hops (e.g., inferring familial connections and preferences) and incorporates an inductive KG setting where models must adapt to unseen user preferences and relationships without re-training, a common limitation in prior approaches that compromises generalization. We further propose KGETool: a simple KG-augmented evaluation pipeline to systematically assess LLMs’ tool use ability in these settings. Experiments reveal significant performance gaps in state-of-the-art LLMs, with accuracy dropping sharply as hop complexity increases and inductive scenarios exposing severe generalization deficits. These findings underscore the limitations of current LLMs in handling personalized, evolving real-world contexts and highlight the urgent need for advancements in tool-learning frameworks. FamilyTool serves as a critical resource for evaluating and advancing LLM agents’ reasoning, adaptability, and scalability in complex, dynamic environments. Code and dataset are available at Github.

arxiv情報

著者 Yuxin Wang,Yiran Guo,Yining Zheng,Zhangyue Yin,Shuo Chen,Jie Yang,Jiajun Chen,Xuanjing Huang,Xipeng Qiu
発行日 2025-04-09 10:42:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | FamilyTool: A Multi-hop Personalized Tool Use Benchmark はコメントを受け付けていません

Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations

投稿日: 2025年4月10日 作成者: jarxiv

要約

専門家のサブセットのみをアクティブにすることにより、パフォーマンスと推論効率の間の好ましいトレードオフを実現します。
ただし、すべての専門家を保存するメモリオーバーヘッドは、特にDeepSeek-R1（671b）などの大規模なMOEモデルでは、大きな制限のままです。
この研究では、大規模なMOEモデルにおけるドメインの専門化と専門家の冗長性を調査し、少数のエキスパートのローカリゼーションと呼ぶ一貫した行動を明らかにします。ほんの少しのデモンストレーションで、このモデルは一貫して専門家のサブセットを一貫して活性化します。
この観察に基づいて、私たちは、最も関連性の高い専門家のみを特定して保持するために、いくつかのドメイン固有のデモを活用する、簡単で効果的な剪定フレームワーク、簡単なEPを提案します。
Easy-EPは、2つの重要なコンポーネントで構成されています。出力認識の専門家の重要性評価と専門家レベルのトークン貢献推定。
前者は、活性化された専門家の出力のゲーティングスコアと大きさを考慮することにより、現在のトークンの各専門家の重要性を評価し、後者はルーティングされた専門家の後と前に表現の類似性に基づいてトークンの寄与を評価します。
実験では、私たちの方法が、同じメモリ予算の下で同等のパフォーマンスと2.99ドルのタイムスループットを達成できることを示しています。
私たちのコードは、https：//github.com/rucaibox/easyepで入手できます。

要約(オリジナル)

Mixture-of-Experts (MoE) models achieve a favorable trade-off between performance and inference efficiency by activating only a subset of experts. However, the memory overhead of storing all experts remains a major limitation, especially in large-scale MoE models such as DeepSeek-R1 (671B). In this study, we investigate domain specialization and expert redundancy in large-scale MoE models and uncover a consistent behavior we term few-shot expert localization, with only a few demonstrations, the model consistently activates a sparse and stable subset of experts. Building on this observation, we propose a simple yet effective pruning framework, EASY-EP, that leverages a few domain-specific demonstrations to identify and retain only the most relevant experts. EASY-EP comprises two key components: output-aware expert importance assessment and expert-level token contribution estimation. The former evaluates the importance of each expert for the current token by considering the gating scores and magnitudes of the outputs of activated experts, while the latter assesses the contribution of tokens based on representation similarities after and before routed experts. Experiments show that our method can achieve comparable performances and $2.99\times$ throughput under the same memory budget with full DeepSeek-R1 with only half the experts. Our code is available at https://github.com/RUCAIBox/EASYEP.

arxiv情報

著者 Zican Dong,Han Peng,Peiyu Liu,Wayne Xin Zhao,Dong Wu,Feng Xiao,Zhifeng Wang
発行日 2025-04-09 11:34:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations はコメントを受け付けていません

A Graph Diffusion Algorithm for Lexical Similarity Evaluation

投稿日: 2025年4月10日 作成者: jarxiv

要約

このホワイトペーパーでは、特定の言語といくつかの参照言語クラスター間の語彙的類似性を評価するためのアルゴリズムを提示します。
入力として、概念のリストと、考慮されたすべての言語で対応する翻訳があります。
さらに、各参照言語は、$ c $言語クラスターの1つに割り当てられます。
各概念について、アルゴリズムは各翻訳のペア間の距離を計算します。
これらの距離に基づいて、すべての頂点が言語を表す加重指向グラフを構築します。
その後、Dirichlet境界条件を持つグラフ拡散方程式を解きます。そこでは、不明は頂点から$ \ Mathbb {r}^c $に設定された頂点からのマップです。
結果の座標は、間隔$ [0,1] $の値であり、それらは各クラスターに属する確率として、または参照クラスターに関する語彙的類似性分布として解釈できます。
翻訳間の距離は、音声転写とダメラフヴェンシュテイン距離の修正を使用して計算されます。
このアルゴリズムは、多言語の地域で話されている言語間の関係を多くの相互の影響を与え、分析するのに役立ちます。
さまざまなヨーロッパの言語に関するケーススタディを提示することにより、これを実証します。

要約(オリジナル)

In this paper, we present an algorithm for evaluating lexical similarity between a given language and several reference language clusters. As an input, we have a list of concepts and the corresponding translations in all considered languages. Moreover, each reference language is assigned to one of $c$ language clusters. For each of the concepts, the algorithm computes the distance between each pair of translations. Based on these distances, it constructs a weighted directed graph, where every vertex represents a language. After, it solves a graph diffusion equation with a Dirichlet boundary condition, where the unknown is a map from the vertex set to $\mathbb{R}^c$. The resulting coordinates are values from the interval $[0,1]$ and they can be interpreted as probabilities of belonging to each of the clusters or as a lexical similarity distribution with respect to the reference clusters. The distances between translations are calculated using phonetic transcriptions and a modification of the Damerau-Levenshtein distance. The algorithm can be useful in analyzing relationships between languages spoken in multilingual territories with a lot of mutual influences. We demonstrate this by presenting a case study regarding various European languages.

arxiv情報

著者 Karol Mikula,Mariana Sarkociová Remešíková
発行日 2025-04-09 12:17:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 00A69, 05C90, 91F20, cs.CL | A Graph Diffusion Algorithm for Lexical Similarity Evaluation はコメントを受け付けていません