Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model

投稿日: 2025年5月19日 作成者: jarxiv

要約

この作品は、ベトナムの2つの民族グループを文化的に橋渡しするために、バナリックとベトナムの翻訳を達成するための旅を探ります。
しかし、バナリックからベトナム人に翻訳することもいくつかの困難に遭遇します。
最も顕著な課題は、トレーニングのデータ収集プロセスを妨げる語彙、文法、対話パターン、バイリンガルコーパスなど、利用可能な元のバナリックリソースソース言語の欠如です。
これに対処するために、シーケンスからシーケンス前のトレーニング言語モデルを使用して転送学習アプローチを活用します。
まず、事前に訓練されたベトナム語モデルを活用して、この言語の特性をキャプチャします。
特に、機械翻訳の目的をさらに提供するために、BERTのようなエンコーダーのみやGPTのようなデコーダーのみではなく、シーケンスからシーケンスモデルを目指します。
2つの言語間の重要な類似性を活用して、ベトナムのバイリンガルテキストの現在限られたバイリンガルリソースでモデルをトレーニングし続け、言語モデルから機械翻訳への転送学習を実行します。
したがって、このアプローチは、2つの言語間の不均衡なリソースの問題を処理するのに役立ち、同時にトレーニングと計算プロセスを最適化します。
さらに、データの増強を使用して追加のリソースを生成するデータセットも強化し、翻訳をより正確に支援するためのいくつかのヒューリスティックな方法を定義しました。
私たちのアプローチは、言語の拡大と保存に貢献し、2人の民族の間の相互理解を促進するために、バナリック – ベトナムの翻訳モデルに非常に効果的であることが検証されています。

要約(オリジナル)

This work explores the journey towards achieving Bahnaric-Vietnamese translation for the sake of culturally bridging the two ethnic groups in Vietnam. However, translating from Bahnaric to Vietnamese also encounters some difficulties. The most prominent challenge is the lack of available original Bahnaric resources source language, including vocabulary, grammar, dialogue patterns and bilingual corpus, which hinders the data collection process for training. To address this, we leverage a transfer learning approach using sequence-to-sequence pre-training language model. First of all, we leverage a pre-trained Vietnamese language model to capture the characteristics of this language. Especially, to further serve the purpose of machine translation, we aim for a sequence-to-sequence model, not encoder-only like BERT or decoder-only like GPT. Taking advantage of significant similarity between the two languages, we continue training the model with the currently limited bilingual resources of Vietnamese-Bahnaric text to perform the transfer learning from language model to machine translation. Thus, this approach can help to handle the problem of imbalanced resources between two languages, while also optimizing the training and computational processes. Additionally, we also enhanced the datasets using data augmentation to generate additional resources and defined some heuristic methods to help the translation more precise. Our approach has been validated to be highly effective for the Bahnaric-Vietnamese translation model, contributing to the expansion and preservation of languages, and facilitating better mutual understanding between the two ethnic people.

arxiv情報

著者 Phan Tran Minh Dat,Vo Hoang Nhat Khang,Quan Thanh Tho
発行日 2025-05-16 16:33:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model はコメントを受け付けていません

When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs

投稿日: 2025年5月19日 作成者: jarxiv

要約

推論強化された大規模な言語モデル（RLLM）は、推論のために明示的に訓練されているか、チェーンオブ考え（COT）を介して促されたかにかかわらず、多くの複雑な推論タスクで最先端のパフォーマンスを達成しました。
ただし、驚くべき、以前は見落とされていた現象を明らかにしています。明示的なCOTの推論は、命令に従う精度を大幅に低下させる可能性があります。
2つのベンチマークで15のモデルを評価する：ifeval（単純なルール検証可能な制約を備えた）と複雑なベンチ（複雑な構成制約付き）では、COTプロンプトが適用されたときにパフォーマンスの低下を一貫して観察します。
大規模なケーススタディと注意ベースの分析を通じて、推論が役立つ（例えば、フォーマットまたは語彙精度）または痛い（例えば、単純な制約を無視したり、不必要なコンテンツを導入したりすることにより）を特定します。
生成中のモデルフォーカスを定量化し、COTの推論がしばしば指導に関連するトークンから注意をそらすことが多いことを示すために、メトリックの制約の注意を提案します。
これらの効果を緩和するために、コンテキスト内の学習、自己反省、自己選択的推論、分類器選択の推論の4つの戦略を導入および評価します。
私たちの結果は、選択的推論戦略、特に分類器選択の推論が、パフォーマンスの損失を大幅に回復できることを示しています。
私たちの知る限り、これは、指導に誘発される推論による障害を体系的に公開し、実用的な緩和戦略を提供する最初の作業です。

要約(オリジナル)

Reasoning-enhanced large language models (RLLMs), whether explicitly trained for reasoning or prompted via chain-of-thought (CoT), have achieved state-of-the-art performance on many complex reasoning tasks. However, we uncover a surprising and previously overlooked phenomenon: explicit CoT reasoning can significantly degrade instruction-following accuracy. Evaluating 15 models on two benchmarks: IFEval (with simple, rule-verifiable constraints) and ComplexBench (with complex, compositional constraints), we consistently observe performance drops when CoT prompting is applied. Through large-scale case studies and an attention-based analysis, we identify common patterns where reasoning either helps (e.g., with formatting or lexical precision) or hurts (e.g., by neglecting simple constraints or introducing unnecessary content). We propose a metric, constraint attention, to quantify model focus during generation and show that CoT reasoning often diverts attention away from instruction-relevant tokens. To mitigate these effects, we introduce and evaluate four strategies: in-context learning, self-reflection, self-selective reasoning, and classifier-selective reasoning. Our results demonstrate that selective reasoning strategies, particularly classifier-selective reasoning, can substantially recover lost performance. To our knowledge, this is the first work to systematically expose reasoning-induced failures in instruction-following and offer practical mitigation strategies.

arxiv情報

著者 Xiaomin Li,Zhou Yu,Zhiwei Zhang,Xupeng Chen,Ziji Zhang,Yingying Zhuang,Narayanan Sadagopan,Anurag Beniwal
発行日 2025-05-16 16:36:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs はコメントを受け付けていません

ViTextVQA: A Large-Scale Visual Question Answering Dataset for Evaluating Vietnamese Text Comprehension in Images

投稿日: 2025年5月19日 作成者: jarxiv

要約

視覚的な質問Answersinng（VQA）は、自然言語と画像を同時に処理する能力を必要とする複雑なタスクです。
このタスクは、マシンが画像内のオブジェクトとシーンコンテキストを理解できるようにするための方法の開発に焦点を当てて、当初調査されました。
ただし、画像の完全な内容に関する明示的な情報を伝えるシーンテキストは言及されていません。
AI時代の継続的な発展に加えて、世界のVQAモデルの読解力に関する多くの研究があります。
したがって、シーンテキストを理解する能力に特化したベトナム語で最初の大規模なデータセットを紹介します。それをvitextvqa（\ textbf {vi} etnamese \ textbf {text} vased \ textbf {v} isual \ textbf {q} uestion \ text \ text \ fient {a} nswers datasetと呼びます。
16,000}画像と\ textbf {50,000を超える}回答付きの質問。
このタスクに効率的に取り組むために、フローズン視力変圧器、swintextspotter OCR、およびvit5 LLMをマルチモーダルフィーチャーフュージョン用のトレーニング可能なQフォーマーとVIT5 LLMを統合することにより、ベトナムのOCRベースのVQAを最適化する新しいマルチモーダル機能融合法であるVitextBlip-2を提案します。
さまざまな最先端のモデルを使用した実験を通じて、OCRテキストのトークンが処理され、回答を策定するために選択される順序の重要性を明らかにします。
この発見は、VitextVQAデータセットのベースラインモデルのパフォーマンスを大幅に改善するのに役立ちました。
データセットは、研究目的で利用できます（https://github.com/minhquan6203/vitextvqa-dataset）。

要約(オリジナル)

Visual Question Answerinng (VQA) is a complicated task that requires the capability of simultaneously processing natural language and images. This task was initially researched with a focus on developing methods to help machines understand objects and scene contexts in images. However, some scene text that carries explicit information about the full content of the image is not mentioned. Along with the continuous development of the AI era, there have been many studies on the reading comprehension ability of VQA models in the world. Therefore, we introduce the first large-scale dataset in Vietnamese specializing in the ability to understand scene text, we call it ViTextVQA (\textbf{Vi}etnamese \textbf{Text}-based \textbf{V}isual \textbf{Q}uestion \textbf{A}nswering dataset) which contains \textbf{over 16,000} images and \textbf{over 50,000} questions with answers. To tackle this task efficiently, we propose ViTextBLIP-2, an novel multimodal feature fusion Method, which optimizes Vietnamese OCR-based VQA by integrating a frozen Vision Transformer, SwinTextSpotter OCR, and ViT5 LLM with a trainable Q-Former for multimodal feature fusion. Through experiments with various state-of-the-art models, we uncover the significance of the order in which tokens in OCR text are processed and selected to formulate answers. This finding helped us significantly improve the performance of the baseline models on the ViTextVQA dataset. Our dataset is available (https://github.com/minhquan6203/ViTextVQA-Dataset) for research purposes.

arxiv情報

著者 Quan Van Nguyen,Dan Quang Tran,Huy Quang Pham,Thang Kien-Bao Nguyen,Nghia Hieu Nguyen,Kiet Van Nguyen,Ngan Luu-Thuy Nguyen
発行日 2025-05-16 16:56:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | ViTextVQA: A Large-Scale Visual Question Answering Dataset for Evaluating Vietnamese Text Comprehension in Images はコメントを受け付けていません

Is Compression Really Linear with Code Intelligence?

投稿日: 2025年5月19日 作成者: jarxiv

要約

特にコードインテリジェンスなどの特殊なドメインでは、データ圧縮と大規模な言語モデル（LLMS）の機能との関係を理解することが重要です。
以前の研究は、圧縮と一般的な知能の間に線形関係を提起しました。
しかし、多様なプログラミング言語とタスクを網羅するコードの多面的な性質を見落とし、最新のコードLLMの公正な評価に苦労しました。
これに対処し、包括的なマルチ言語、マルチタスクコードベンチマークに関する多様なオープンソースコードLLMを評価します。
事前に訓練されたLLMSのコードインテリジェンスの効率的かつ公正な評価の課題に対処するために、これらの事前訓練モデルの本質的な機能を公平に評価するために設計された軽量で透明なトレーニング方法論である\ textit {形式アニーリング}を紹介します。
キャラクターあたりビット（BPC）として測定された圧縮効果は、GitHubから派生した新規、大規模、および以前に見えないコード検証セットを使用して決定されます。
私たちの経験的結果は、測定されたコードインテリジェンスとBPCの間の基本的な対数関係を明らかにしています。
この発見は、以前の直線性の仮説を改良します。これは、特定の限られた条件下での対数曲線の尾の観察がおそらく観察される可能性が高いことを示唆しています。
私たちの仕事は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解することを提供し、コードド​​メインの堅牢な評価フレームワークに貢献します。

要約(オリジナル)

Understanding the relationship between data compression and the capabilities of Large Language Models (LLMs) is crucial, especially in specialized domains like code intelligence. Prior work posited a linear relationship between compression and general intelligence. However, it overlooked the multifaceted nature of code that encompasses diverse programming languages and tasks, and struggled with fair evaluation of modern Code LLMs. We address this by evaluating a diverse array of open-source Code LLMs on comprehensive multi-language, multi-task code benchmarks. To address the challenge of efficient and fair evaluation of pre-trained LLMs’ code intelligence, we introduce \textit{Format Annealing}, a lightweight, transparent training methodology designed to assess the intrinsic capabilities of these pre-trained models equitably. Compression efficacy, measured as bits-per-character (BPC), is determined using a novel, large-scale, and previously unseen code validation set derived from GitHub. Our empirical results reveal a fundamental logarithmic relationship between measured code intelligence and BPC. This finding refines prior hypotheses of linearity, which we suggest are likely observations of the logarithmic curve’s tail under specific, limited conditions. Our work provides a more nuanced understanding of compression’s role in developing code intelligence and contributes a robust evaluation framework in the code domain.

arxiv情報

著者 Xianzhen Luo,Shijie Xuyang,Tianhao Cheng,Zheng Chu,Houyi Li,ziqi wang,Siming Huang,Qingfu Zhu,Qiufeng Wang,Xiangyu Zhang,Shuigeng Zhou,Wanxiang Che
発行日 2025-05-16 16:59:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Is Compression Really Linear with Code Intelligence? はコメントを受け付けていません

No Gold Standard, No Problem: Reference-Free Evaluation of Taxonomies

投稿日: 2025年5月19日 作成者: jarxiv

要約

分類法の品質評価のために、2つの参照なしのメトリックを紹介します。
最初のメトリックは、セマンティックと分類学的類似性の相関を計算することにより堅牢性を評価し、既存のメトリックによって処理されないエラーの種類をカバーします。
2番目は自然言語の推論を使用して、論理的妥当性を評価します。
どちらのメトリックも5つの分類法でテストされており、金標準の分類法に対してF1とよく相関することが示されています。

要約(オリジナル)

We introduce two reference-free metrics for quality evaluation of taxonomies. The first metric evaluates robustness by calculating the correlation between semantic and taxonomic similarity, covering a type of error not handled by existing metrics. The second uses Natural Language Inference to assess logical adequacy. Both metrics are tested on five taxonomies and are shown to correlate well with F1 against gold-standard taxonomies.

arxiv情報

著者 Pascal Wullschleger,Majid Zarharan,Donnacha Daly,Marc Pouly,Jennifer Foster
発行日 2025-05-16 17:25:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | No Gold Standard, No Problem: Reference-Free Evaluation of Taxonomies はコメントを受け付けていません

SoftCoT++: Test-Time Scaling with Soft Chain-of-Thought Reasoning

投稿日: 2025年5月19日 作成者: jarxiv

要約

テスト時間スケーリング（TTS）とは、モデルのパラメーターを変更せずに、推論中に追加の計算を割り当てることにより、推論パフォーマンスを改善するアプローチを指します。
既存のTTSメソッドは、より中間ステップを生成することにより離散トークン空間で動作しますが、ココナッツとソフトコットでの最近の研究は、連続潜在空間での考えることが推論パフォーマンスをさらに高めることができることを実証しています。
このような潜在的思考は、自己回帰トークンの生成に関連する情報損失なしに有益な思考をエンコードし、継続的なスペースの推論への関心を高めました。
繰り返されるサンプリングが多様な推論パスを探索できる離散デコードとは異なり、すべてのデコードされたパスが同じ潜在思考から発生するため、さまざまな入力に連続空間内の潜在的な表現が特定の入力に対して固定されています。
この制限を克服するために、SoftCot ++を導入して、思考パスの多様な調査を可能にすることにより、テスト時のスケーリングパラダイムにソフトコットを拡張します。
具体的には、複数の専門化された初期トークンを介して潜在的な思考を混乱させ、対照的な学習を適用して、柔らかい思考表現間の多様性を促進します。
5つの推論ベンチマークと2つの異なるLLMアーキテクチャにわたる実験は、ソフトコット++がソフトコットを大幅に高め、自己整合性スケーリングでソフトコットを上回ることを示しています。
さらに、自己整合性などの従来のスケーリング技術との強い互換性を示しています。
ソースコードは、https：//github.com/xuyige/softcotで入手できます。

要約(オリジナル)

Test-Time Scaling (TTS) refers to approaches that improve reasoning performance by allocating extra computation during inference, without altering the model’s parameters. While existing TTS methods operate in a discrete token space by generating more intermediate steps, recent studies in Coconut and SoftCoT have demonstrated that thinking in the continuous latent space can further enhance the reasoning performance. Such latent thoughts encode informative thinking without the information loss associated with autoregressive token generation, sparking increased interest in continuous-space reasoning. Unlike discrete decoding, where repeated sampling enables exploring diverse reasoning paths, latent representations in continuous space are fixed for a given input, which limits diverse exploration, as all decoded paths originate from the same latent thought. To overcome this limitation, we introduce SoftCoT++ to extend SoftCoT to the Test-Time Scaling paradigm by enabling diverse exploration of thinking paths. Specifically, we perturb latent thoughts via multiple specialized initial tokens and apply contrastive learning to promote diversity among soft thought representations. Experiments across five reasoning benchmarks and two distinct LLM architectures demonstrate that SoftCoT++ significantly boosts SoftCoT and also outperforms SoftCoT with self-consistency scaling. Moreover, it shows strong compatibility with conventional scaling techniques such as self-consistency. Source code is available at https://github.com/xuyige/SoftCoT.

arxiv情報

著者 Yige Xu,Xu Guo,Zhiwei Zeng,Chunyan Miao
発行日 2025-05-16 17:47:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | SoftCoT++: Test-Time Scaling with Soft Chain-of-Thought Reasoning はコメントを受け付けていません

Mixture of Routers

投稿日: 2025年5月19日 作成者: jarxiv

要約

監視された微調整（SFT）は、大規模な言語モデルを人間の指示に合わせて、ダウンストリームタスクに適応させるマイルストーンです。
特に、低ランク適応（LORA）は、そのパラメーター効率により、広範囲にわたる注目を集めています。
ただし、大規模なモデルのパフォーマンスの向上への影響は依然として限られています。
最近の研究では、LORAと混合物（MOE）を組み合わせることで、微調整性能が大幅に向上することが示唆されています。
MOEは、最も適切な専門家を動的に選択することにより、データセットの多様性と複雑さに適応し、それによりタスクの精度と効率を向上させます。
印象的な結果にもかかわらず、最近の研究は、誤った割り当てや不均衡な専門家の割り当てなど、MOEルーティングメカニズムの問題を明らかにしています。
冗長性とフォールトトレランス理論の原則に触発されました。
専門家の混合の概念をルーティングメカニズムに革新的に統合し、ルーターの混合物（MOR）と呼ばれる効率的な微調整方法を提案します。
関節選択に複数のサブルーターを使用し、学習可能なメインルーターを使用してサブルーターの重みを決定します。
結果は、MORがほとんどのタスクでベースラインモデルを上回り、1％の平均パフォーマンス改善を達成することを示しています。
MORは、幅広いアプリケーションに適したプラグアンドプレイのパラメーター効率の高い微調整方法として機能します。
私たちのコードはこちらから入手できます：https：//anonymous.4open.science/r/mor-dfc6。

要約(オリジナル)

Supervised fine-tuning (SFT) is a milestone in aligning large language models with human instructions and adapting them to downstream tasks. In particular, Low-Rank Adaptation (LoRA) has gained widespread attention due to its parameter efficiency. However, its impact on improving the performance of large models remains limited. Recent studies suggest that combining LoRA with Mixture-of-Experts (MoE) can significantly enhance fine-tuning performance. MoE adapts to the diversity and complexity of datasets by dynamically selecting the most suitable experts, thereby improving task accuracy and efficiency. Despite impressive results, recent studies reveal issues in the MoE routing mechanism, such as incorrect assignments and imbalanced expert allocation. Inspired by the principles of Redundancy and Fault Tolerance Theory. We innovatively integrate the concept of Mixture of Experts into the routing mechanism and propose an efficient fine-tuning method called Mixture of Routers (MoR). It employs multiple sub-routers for joint selection and uses a learnable main router to determine the weights of the sub-routers. The results show that MoR outperforms baseline models on most tasks, achieving an average performance improvement of 1%. MoR can serve as a plug-and-play, parameter-efficient fine-tuning method suitable for a wide range of applications. Our code is available here: https://anonymous.4open.science/r/MoR-DFC6.

arxiv情報

著者 Jia-Chen Zhang,Yu-Jie Xiong,Xi-He Qiu,Chun-Ming Xia,Fei Dai
発行日 2025-05-16 14:18:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Mixture of Routers はコメントを受け付けていません

Meta-World+: An Improved, Standardized, RL Benchmark

投稿日: 2025年5月19日 作成者: jarxiv

要約

Meta-Worldは、多様なスキルを同時に習得することに挑戦しているマルチタスクおよびメタの強化学習エージェントの評価に広く使用されています。
しかし、その導入以来、アルゴリズムの公正な比較を阻害する多くの文書化されていない変更がありました。
この作業は、これらの結果を文献から明確にしようとすると同時に、Meta-Worldの過去のバージョンを活用して、マルチタスクとメタの強化学習ベンチマーク設計に関する洞察を提供するよう努めています。
このプロセスを通じて、過去の結果の完全な再現性を持つMeta-World（https://github.com/farama-foundation/metaworld/）の新しいオープンソースバージョンをリリースします。

要約(オリジナル)

Meta-World is widely used for evaluating multi-task and meta-reinforcement learning agents, which are challenged to master diverse skills simultaneously. Since its introduction however, there have been numerous undocumented changes which inhibit a fair comparison of algorithms. This work strives to disambiguate these results from the literature, while also leveraging the past versions of Meta-World to provide insights into multi-task and meta-reinforcement learning benchmark design. Through this process we release a new open-source version of Meta-World (https://github.com/Farama-Foundation/Metaworld/) that has full reproducibility of past results, is more technically ergonomic, and gives users more control over the tasks that are included in a task set.

arxiv情報

著者 Reginald McLean,Evangelos Chatzaroulas,Luc McCutcheon,Frank Röder,Tianhe Yu,Zhanpeng He,K. R. Zentner,Ryan Julian,J K Terry,Isaac Woungang,Nariman Farsad,Pablo Samuel Castro
発行日 2025-05-16 14:24:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Meta-World+: An Improved, Standardized, RL Benchmark はコメントを受け付けていません

QuXAI: Explainers for Hybrid Quantum Machine Learning Models

投稿日: 2025年5月19日 作成者: jarxiv

要約

ハイブリッド量子機械学習（HQML）モデルの出現は、計算インテリジェンスの新しい視野を開きますが、その基本的な複雑さは、アプリケーションの透明性と信頼性を損なうブラックボックスの動作にしばしばつながります。
まだ初期段階にある量子システムのXaiは、量子化された特徴エンコーディングに続いて古典的な学習が続くHQMLアーキテクチャ向けに設計された堅牢なグローバルおよびローカルの説明可能性アプローチでは、主要な研究ギャップが明らかです。
ギャップは、この作業の焦点であり、これらのハイブリッドシステムにおける機能の重要性を説明するための説明者であるQ-Medleyに基づくフレームワークであるQuxaiを紹介します。
私たちのモデルには、量子機能マップ、Q-Medleyの使用を組み込んだHQMLモデルの作成を伴います。これは、特徴ベースの推論を組み合わせ、量子変換段階を維持し、結果の属性を視覚化します。
私たちの結果は、Q-MedleyがHQMLモデルの影響力のある古典的な側面を描写し、ノイズを分離し、古典的な検証設定で確立されたXai技術とよく競合することを示しています。
アブレーション研究は、Q-Medleyで使用される複合構造の美徳をより著しく露出させます。
この作業の意味は非常に重要です。これは、HQMLモデルの解釈可能性と信頼性を改善するルートを提供するため、より大きな自信を促進し、量子強化AIテクノロジーのより安全で責任ある使用に従事することができるからです。
私たちのコードと実験は、https：//github.com/gitssaikat/quxaiでオープンソーリングされています

要約(オリジナル)

The emergence of hybrid quantum-classical machine learning (HQML) models opens new horizons of computational intelligence but their fundamental complexity frequently leads to black box behavior that undermines transparency and reliability in their application. Although XAI for quantum systems still in its infancy, a major research gap is evident in robust global and local explainability approaches that are designed for HQML architectures that employ quantized feature encoding followed by classical learning. The gap is the focus of this work, which introduces QuXAI, an framework based upon Q-MEDLEY, an explainer for explaining feature importance in these hybrid systems. Our model entails the creation of HQML models incorporating quantum feature maps, the use of Q-MEDLEY, which combines feature based inferences, preserving the quantum transformation stage and visualizing the resulting attributions. Our result shows that Q-MEDLEY delineates influential classical aspects in HQML models, as well as separates their noise, and competes well against established XAI techniques in classical validation settings. Ablation studies more significantly expose the virtues of the composite structure used in Q-MEDLEY. The implications of this work are critically important, as it provides a route to improve the interpretability and reliability of HQML models, thus promoting greater confidence and being able to engage in safer and more responsible use of quantum-enhanced AI technology. Our code and experiments are open-sourced at: https://github.com/GitsSaikat/QuXAI

arxiv情報

著者 Saikat Barua,Mostafizur Rahman,Shehenaz Khaled,Md Jafor Sadek,Rafiul Islam,Shahnewaz Siddique
発行日 2025-05-16 14:30:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, quant-ph | QuXAI: Explainers for Hybrid Quantum Machine Learning Models はコメントを受け付けていません

Heterogeneity-Aware Client Sampling: A Unified Solution for Consistent Federated Learning

投稿日: 2025年5月19日 作成者: jarxiv

要約

Federated Learning（FL）には、一般的に、多様なコミュニケーション機能と計算機能を備えたクライアントが関与します。
このような不均一性は、最適化のダイナミクスを大幅に歪め、客観的な矛盾につながる可能性があります。そこでは、グローバルモデルが追求された最適から潜在的に誤った固定点に収束します。
その重大な影響にもかかわらず、コミュニケーションと計算の不均一性の共同効果は、それらの相互作用の本質的な複雑さのために、ほとんど未踏のままです。
この論文では、FLの不均一なコミュニケーションと計算が矛盾を促進する根本的に明確なメカニズムを明らかにします。
私たちの知る限り、これは一般的な不均一なFLの最初の統一された理論分析であり、これらの2つの形態の不均一性が、ローカルソルバーの任意の選択の下で最適化軌跡を共同で共同で歪める方法についての原則的な理解を提供します。
これらの洞察に動機付けられて、私たちは、あらゆるタイプの客観的な矛盾を排除するための普遍的な方法であるFedAcsのフェデレートされた不均一性を意識したクライアントサンプリングを提案します。
動的な不均一環境であっても、FEDACSが$ O（1/\ sqrt {r}）$のレートで正しい最適に収束することを理論的に証明します。
複数のデータセットにわたる広範な実験では、FEDACが最先端およびカテゴリ固有のベースラインを4.3％〜36％上回ると同時に、通信コストを22％-89％、計算負荷をそれぞれ14％〜105％削減することが示されています。

要約(オリジナル)

Federated learning (FL) commonly involves clients with diverse communication and computational capabilities. Such heterogeneity can significantly distort the optimization dynamics and lead to objective inconsistency, where the global model converges to an incorrect stationary point potentially far from the pursued optimum. Despite its critical impact, the joint effect of communication and computation heterogeneity has remained largely unexplored, due to the intrinsic complexity of their interaction. In this paper, we reveal the fundamentally distinct mechanisms through which heterogeneous communication and computation drive inconsistency in FL. To the best of our knowledge, this is the first unified theoretical analysis of general heterogeneous FL, offering a principled understanding of how these two forms of heterogeneity jointly distort the optimization trajectory under arbitrary choices of local solvers. Motivated by these insights, we propose Federated Heterogeneity-Aware Client Sampling, FedACS, a universal method to eliminate all types of objective inconsistency. We theoretically prove that FedACS converges to the correct optimum at a rate of $O(1/\sqrt{R})$, even in dynamic heterogeneous environments. Extensive experiments across multiple datasets show that FedACS outperforms state-of-the-art and category-specific baselines by 4.3%-36%, while reducing communication costs by 22%-89% and computation loads by 14%-105%, respectively.

arxiv情報

著者 Shudi Weng,Chao Ren,Ming Xiao,Mikael Skoglund
発行日 2025-05-16 14:31:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Heterogeneity-Aware Client Sampling: A Unified Solution for Consistent Federated Learning はコメントを受け付けていません