The Aloe Family Recipe for Open and Specialized Healthcare LLMs

投稿日: 2025年5月8日 作成者: jarxiv

要約

目的：ヘルスケアの大規模な言語モデル（LLMS）の進歩により、競争力のあるオープンソースモデルが公共の利益を保護する必要性が生じます。
この作業は、モデルの安全性（DPOを介して）と有効性（RAGを介して）を改善する方法を示しながら、データの前処理とトレーニングの重要な段階を最適化することにより、オープンメディカルLLMの分野に貢献します。
4つの異なるタイプのテストを含む使用される評価方法は、フィールドの新しい標準を定義します。
結果のモデルは、最高のプライベートな代替品と競争力があることが示されており、許容ライセンスでリリースされます。
方法：Llama 3.1やQwen 2.5などの強力なベースモデルの上に構築されているAloe Betaは、カスタムデータセットを使用して、合成の思考の例でパブリックデータを強化します。
モデルは、直接的な優先順位の最適化と整合し、ジェームブレイク攻撃の存在下で倫理的および政策並列パフォーマンスを強調します。
評価には、結果の信頼性を最大化するために、密接な、自由、安全性、人間の評価が含まれます。
結果：アロエ家の堅実な性能に裏付けられたパイプライン全体で推奨事項が行われます。
これらのモデルは、ヘルスケアベンチマークや医療分野で競争力のあるパフォーマンスを提供し、多くの場合、医療専門家に好まれます。
バイアスと毒性については、アロエベータモデルは安全性を大幅に改善し、目に見えないジェイルブレイク攻撃に対する回復力を示しています。
責任あるリリースのために、ヘルスケアに固有の詳細なリスク評価がアロエファミリーモデルに添付されています。
結論：アロエベータモデル、およびそれらにつながるレシピは、オープンソースの医療LLMフィールドに大きく貢献し、高い倫理要件を維持しながら最高のパフォーマンスを提供します。
この作業は、ヘルスケアで整合したLLMを開発および報告するための新しい基準を設定します。

要約(オリジナル)

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.

arxiv情報

著者 Dario Garcia-Gasulla,Jordi Bayarri-Planas,Ashwin Kumar Gururajan,Enrique Lopez-Cuena,Adrian Tormos,Daniel Hinjos,Pablo Bernabeu-Perez,Anna Arias-Duart,Pablo Agustin Martin-Torres,Marta Gonzalez-Mallo,Sergio Alvarez-Napagao,Eduard Ayguadé-Parra,Ulises Cortés
発行日 2025-05-07 13:13:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | The Aloe Family Recipe for Open and Specialized Healthcare LLMs はコメントを受け付けていません

Estimating LLM Uncertainty with Logits

投稿日: 2025年5月8日 作成者: jarxiv

要約

過去数年にわたって、大規模な言語モデル（LLM）は急速に開発されており、さまざまなドメインに広く適用されています。
ただし、LLMSは幻覚の問題に直面しており、モデルに関連する知識がない場合に信頼できない可能性のある応答を生成します。
潜在的な幻覚を認識するために、不確実性の推定方法が導入されており、それらのほとんどは、信頼性が重要なトークンにあることを確認しています。
ただし、確率ベースのメソッドは、トークンの信頼性を特定する際にパフォーマンスが低く、実用性を制限します。
この論文では、トレーニング段階に蓄積されている証拠強度情報の喪失により、確率ベースの方法がトークンの信頼性を推定できないことを明らかにします。
したがって、LLMSの分離されたトークンの不確実性を推定するためのフレームワークであるロジット誘発トークンの不確実性（logtoku）を提示し、複数のサンプリングプロセスを必要とせずにリアルタイムの不確実性推定を可能にします。
ログトクを実装するために証拠モデリングを採用し、推定不確実性を使用してダウンストリームタスクを導きます。
実験結果は、Logtokuが有効性と約束を持っていることを示しています。

要約(オリジナル)

Over the past few years, Large Language Models (LLMs) have developed rapidly and are widely applied in various domains. However, LLMs face the issue of hallucinations, generating responses that may be unreliable when the models lack relevant knowledge. To be aware of potential hallucinations, uncertainty estimation methods have been introduced, and most of them have confirmed that reliability lies in critical tokens. However, probability-based methods perform poorly in identifying token reliability, limiting their practical utility. In this paper, we reveal that the probability-based method fails to estimate token reliability due to the loss of evidence strength information which is accumulated in the training stage. Therefore, we present Logits-induced token uncertainty (LogTokU), a framework for estimating decoupled token uncertainty in LLMs, enabling real-time uncertainty estimation without requiring multiple sampling processes. We employ evidence modeling to implement LogTokU and use the estimated uncertainty to guide downstream tasks. The experimental results demonstrate that LogTokU has significant effectiveness and promise.

arxiv情報

著者 Huan Ma,Jingdong Chen,Joey Tianyi Zhou,Guangyu Wang,Changqing Zhang
発行日 2025-05-07 13:13:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Estimating LLM Uncertainty with Logits はコメントを受け付けていません

In-Context Adaptation to Concept Drift for Learned Database Operations

投稿日: 2025年5月8日 作成者: jarxiv

要約

機械学習は、クエリの最適化やデータベース内データ分析など、データベース操作の変革の可能性を実証しています。
ただし、頻繁な更新と進化するデータ分布を特徴とする動的データベース環境は、概念ドリフトを導入し、学習されたモデルのパフォーマンスの低下につながり、実用的な適用性を制限します。
この課題に対処するには、再訓練または微調整のオーバーヘッドを最小限に抑えながら、概念のシフトに適応できる効率的なフレームワークが必要です。
この論文では、学習したデータベース操作のために\ textIT {in-context適応}と呼ばれる新しいパラダイムを導入するオンライン適応フレームワークであるFlairを提案します。
FLAIRは、データシステムの固有のプロパティ、つまり、動的コンテキスト構築を可能にするために、予測のための実行結果の即時利用可能性を活用します。
適応を$ fとして形式化することにより、$ f：（\ mathbf {x} \、| \、\ mathcal {c} _t）\ to \ mathbf {y} $、$ \ mathcal {c} _t $を表します。
これを実現するために、Flairは2つの重要なモジュールを統合します。タスク固有の機能を標準化された表現にエンコードするためのタスク機能モジュールと、ベイジアンメタトレーニングを介して事前に訓練された動的決定エンジンは、実行時にコンテキスト情報をシームレスに適応させます。
主要なデータベースタスク全体の広範な実験は、Flairが最先端のベースラインを上回り、最大5.2倍の速い適応を達成し、カーディナリティの推定で22.5％減少することを示しています。

要約(オリジナル)

Machine learning has demonstrated transformative potential for database operations, such as query optimization and in-database data analytics. However, dynamic database environments, characterized by frequent updates and evolving data distributions, introduce concept drift, which leads to performance degradation for learned models and limits their practical applicability. Addressing this challenge requires efficient frameworks capable of adapting to shifting concepts while minimizing the overhead of retraining or fine-tuning. In this paper, we propose FLAIR, an online adaptation framework that introduces a new paradigm called \textit{in-context adaptation} for learned database operations. FLAIR leverages the inherent property of data systems, i.e., immediate availability of execution results for predictions, to enable dynamic context construction. By formalizing adaptation as $f:(\mathbf{x} \,| \,\mathcal{C}_t) \to \mathbf{y}$, with $\mathcal{C}_t$ representing a dynamic context memory, FLAIR delivers predictions aligned with the current concept, eliminating the need for runtime parameter optimization. To achieve this, FLAIR integrates two key modules: a Task Featurization Module for encoding task-specific features into standardized representations, and a Dynamic Decision Engine, pre-trained via Bayesian meta-training, to adapt seamlessly using contextual information at runtime. Extensive experiments across key database tasks demonstrate that FLAIR outperforms state-of-the-art baselines, achieving up to 5.2x faster adaptation and reducing error by 22.5% for cardinality estimation.

arxiv情報

著者 Jiaqi Zhu,Shaofeng Cai,Yanyan Shen,Gang Chen,Fang Deng,Beng Chin Ooi
発行日 2025-05-07 13:36:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DB | In-Context Adaptation to Concept Drift for Learned Database Operations はコメントを受け付けていません

High-speed multiwavelength photonic temporal integration using silicon photonics

投稿日: 2025年5月8日 作成者: jarxiv

要約

光学システムは、エネルギー効率の高いコンピューティングにとって極めて重要であり、低損失キャリアで高速で並列操作を実行しています。
これらの主にアナログ光アクセラレーターは、デジタル化をバイパスして平行な浮動小数点計算を実行しますが、光学ハードウェアをスケーリングしてAIタスクの大型ベクトルサイズをマッピングして依然として困難です。
ここでは、スカラー操作を時間内に展開し、すべての光学的時間統合のためにフォトニックヒーター（Phil）ユニットを導入することにより、この制限を克服します。
直感に反して、ゆっくりとした熱散逸プロセスを活用して、50 GHzで変調された光学信号を統合し、広く適用された熱光学効果と超高速フォトニクスの間の速度ギャップを埋めます。
このアーキテクチャは、光学的エンドツーエンド信号処理をサポートし、非効率的な電気光学変換を排除し、統一されたフレームワーク内で線形操作と非線形操作の両方を可能にします。
私たちの結果は、熱駆動型の統合を介した高速フォトニックコンピューティングへのスケーラブルなパスを示しています。

要約(オリジナル)

Optical systems have been pivotal for energy-efficient computing, performing high-speed, parallel operations in low-loss carriers. While these predominantly analog optical accelerators bypass digitization to perform parallel floating-point computations, scaling optical hardware to map large-vector sizes for AI tasks remains challenging. Here, we overcome this limitation by unfolding scalar operations in time and introducing a photonic-heater-in-lightpath (PHIL) unit for all-optical temporal integration. Counterintuitively, we exploit a slow heat dissipation process to integrate optical signals modulated at 50 GHz bridging the speed gap between the widely applied thermo-optic effects and ultrafast photonics. This architecture supports optical end-to-end signal processing, eliminates inefficient electro-optical conversions, and enables both linear and nonlinear operations within a unified framework. Our results demonstrate a scalable path towards high-speed photonic computing through thermally driven integration.

arxiv情報

著者 Yi Zhang,Nikolaos Farmakidis,Ioannis Roumpos,Miltiadis Moralis-Pegios,Apostolos Tsakyridis,June Sang Lee,Bowei Dong,Yuhan He,Samarth Aggarwal,Nikolaos Pleros,Harish Bhaskaran
発行日 2025-05-07 13:39:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, physics.app-ph, physics.optics | High-speed multiwavelength photonic temporal integration using silicon photonics はコメントを受け付けていません

YABLoCo: Yet Another Benchmark for Long Context Code Generation

投稿日: 2025年5月8日 作成者: jarxiv

要約

大規模な言語モデルは、コード生成を含むさまざまなプログラミングタスクを解決する機能を示しています。
通常、LLMSのパフォーマンスは、数千行のコードの小規模または中規模のコンテキストウィンドウを持つベンチマークで測定されます。
同時に、実際のソフトウェアプロジェクトでは、リポジトリは数百万のLocに及ぶことがあります。
このペーパーでは、長いコンテキストコード生成ベンチマーク（Yabloco）に貢献することにより、このギャップを閉じます。
ベンチマークには、数千の関数を備えた4つの大規模なリポジトリから選択された215関数のテストセットが特徴でした。
データセットには、関数のメタデータ、さまざまなレベルの依存関係、ドキュメント、関数本体、および各リポジトリのグラフのコールグラフのコンテキストが含まれていました。
このペーパーでは、貢献の3つの重要な側面を紹介します。
まず、ベンチマークは、以前のベンチマークでカバーされていない2つの言語であるCおよびC ++の大規模なリポジトリの関数体生成を目的としています。
第二に、ベンチマークには200k〜2,000k locの大きなリポジトリが含まれています。
第三に、ターゲットメトリックの効率的な計算のためのスケーラブルな評価パイプラインと、生成されたコードの視覚分析のためのツールを提供します。
全体として、これらの3つの側面により、CおよびC ++の大規模なリポジトリでコード生成を評価できます。

要約(オリジナル)

Large Language Models demonstrate the ability to solve various programming tasks, including code generation. Typically, the performance of LLMs is measured on benchmarks with small or medium-sized context windows of thousands of lines of code. At the same time, in real-world software projects, repositories can span up to millions of LoC. This paper closes this gap by contributing to the long context code generation benchmark (YABLoCo). The benchmark featured a test set of 215 functions selected from four large repositories with thousands of functions. The dataset contained metadata of functions, contexts of the functions with different levels of dependencies, docstrings, functions bodies, and call graphs for each repository. This paper presents three key aspects of the contribution. First, the benchmark aims at function body generation in large repositories in C and C++, two languages not covered by previous benchmarks. Second, the benchmark contains large repositories from 200K to 2,000K LoC. Third, we contribute a scalable evaluation pipeline for efficient computing of the target metrics and a tool for visual analysis of generated code. Overall, these three aspects allow for evaluating code generation in large repositories in C and C++.

arxiv情報

著者 Aidar Valeev,Roman Garaev,Vadim Lomshakov,Irina Piontkovskaya,Vladimir Ivanov,Israel Adewuyi
発行日 2025-05-07 13:42:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.SE | YABLoCo: Yet Another Benchmark for Long Context Code Generation はコメントを受け付けていません

OBLIVIATE: Robust and Practical Machine Unlearning for Large Language Models

投稿日: 2025年5月8日 作成者: jarxiv

要約

敏感、著作権、または有毒な含有量を記憶する広範なコーパスリスクを訓練された大規模な言語モデル（LLM）。
これに対処するために、モデルユーティリティを維持しながらターゲットを絞ったデータを削除する堅牢な未獲得のフレームワークであるObliviateを提案します。
フレームワークは、ターゲットトークンの抽出、ビルディング保持セット、およびマスキング、蒸留、世界の事実の3つのコンポーネントで構成されるカスタマイズされた損失関数を使用して、構造化されたプロセスに従います。
低ランクアダプター（LORA）を使用すると、学習の質の低い品質を損なうことなく効率が保証されます。
包括的なメトリックスイートを使用して、ハリーポッターシリーズ、WMDP、豆腐など、複数のデータセットで実験を実施します。
結果は、メンバーシップの推論攻撃に抵抗し、保持されたデータへの影響を最小限に抑え、多様なシナリオ全体で堅牢性を維持する有効性を示しています。

要約(オリジナル)

Large language models (LLMs) trained over extensive corpora risk memorizing sensitive, copyrighted, or toxic content. To address this, we propose OBLIVIATE, a robust unlearning framework that removes targeted data while preserving model utility. The framework follows a structured process: extracting target tokens, building retain sets, and fine-tuning with a tailored loss function comprising three components — masking, distillation, and world fact. Using low-rank adapters (LoRA), it ensures efficiency without compromising unlearning quality. We conduct experiments on multiple datasets, including the Harry Potter series, WMDP, and TOFU, using a comprehensive suite of metrics: forget quality (new document-level memorization score), model utility, and fluency. Results demonstrate its effectiveness in resisting membership inference attacks, minimizing the impact on retained data, and maintaining robustness across diverse scenarios.

arxiv情報

著者 Xiaoyu Xu,Minxin Du,Qingqing Ye,Haibo Hu
発行日 2025-05-07 13:51:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CR, cs.LG | OBLIVIATE: Robust and Practical Machine Unlearning for Large Language Models はコメントを受け付けていません

Recognizing Ornaments in Vocal Indian Art Music with Active Annotation

投稿日: 2025年5月8日 作成者: jarxiv

要約

多くの音楽の伝統にわたるメロディックな表現には、装飾、装飾、または微気変動が不可欠であり、パフォーマンスに深み、ニュアンス、感情的な影響を加えます。
歌声の声の装飾を認識することは、音楽の教育学、歌手の識別、ジャンル分類、および制御された歌声生成の潜在的なアプリケーションを備えたMiRの鍵です。
ただし、注釈付きのデータセットと専門的なモデリングアプローチの欠如は、この研究分野での進歩の大きな障害のままです。
この作業では、専門のミュージシャンがキュレーションするインドのクラシック音楽の録音を含む新しいデータセットであるr \ = aga onnamentation Detection（ROD）を紹介します。
データセットには、イベントベースのラベルとしてマークされた6つのボーカル装飾品用のカスタムヒューマンループツールを使用して注釈が付けられます。
このデータセットを使用して、深い時系列分析に基づいて装飾検出モデルを開発し、長いオーディオ録音のチャンク中に装飾境界を維持します。
ロッドデータセット内のさまざまな列車テスト構成を使用して実験を実施し、インドの古典的なコンサート録音の別の手動注釈付きデータセットでアプローチを評価します。
実験結果は、ベースラインCRNNよりも提案されたアプローチの優れたパフォーマンスをサポートしています。

要約(オリジナル)

Ornamentations, embellishments, or microtonal inflections are essential to melodic expression across many musical traditions, adding depth, nuance, and emotional impact to performances. Recognizing ornamentations in singing voices is key to MIR, with potential applications in music pedagogy, singer identification, genre classification, and controlled singing voice generation. However, the lack of annotated datasets and specialized modeling approaches remains a major obstacle for progress in this research area. In this work, we introduce R\=aga Ornamentation Detection (ROD), a novel dataset comprising Indian classical music recordings curated by expert musicians. The dataset is annotated using a custom Human-in-the-Loop tool for six vocal ornaments marked as event-based labels. Using this dataset, we develop an ornamentation detection model based on deep time-series analysis, preserving ornament boundaries during the chunking of long audio recordings. We conduct experiments using different train-test configurations within the ROD dataset and also evaluate our approach on a separate, manually annotated dataset of Indian classical concert recordings. Our experimental results support the superior performance of our proposed approach over the baseline CRNN.

arxiv情報

著者 Sumit Kumar,Parampreet Singh,Vipul Arora
発行日 2025-05-07 13:52:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, eess.AS | Recognizing Ornaments in Vocal Indian Art Music with Active Annotation はコメントを受け付けていません

Deep Reinforcement Learning for Traffic Light Control in Intelligent Transportation Systems

投稿日: 2025年5月8日 作成者: jarxiv

要約

インテリジェント輸送システム（ITS）のスマートトラフィックライトは、交通効率を大幅に向上させ、渋滞を軽減するために想定されています。
ディープ補強学習（DRL）は、道路ネットワークのリアルタイムの交通状況に基づいて、トラフィックを適応的に制御するための有望なアプローチです。
ただし、従来の方法はスケーラビリティが低い場合があります。
このホワイトペーパーでは、信号機を制御するための深い補強学習を調査し、理論的分析と数値実験の両方が、インテリジェントな行動「グリーンウェーブ」（つまり、車両は緑の光の進行性のカスケードが見られ、あらゆる交差点でブレーキをかける必要はありません）が、自然に環境の道路ネットワークであることを示しています。
最初のステップとして、2つのシナリオでトラフィックコントロールの問題に2つのDRLアルゴリズムを使用します。
単一の道路交差点で、ディープQネットワーク（DQN）アルゴリズムがしきい値ポリシーを提供することを確認します。
また、グリッドロードネットワークでは、深い決定論的ポリシーグラデーション（DDPG）アルゴリズムを採用しています。
第二に、数値実験は、DQNアルゴリズムが最適な制御を提供することを示しており、パッシブ観測を伴うDDPGアルゴリズムは、グリッドロードネットワークで高レベルのインテリジェントな動作を生成する能力を持っていることを示しています。
また、$ 5 \ times 10 $ Grid Road Networkで「Greenwave」パターンを確認します。
第三に、「グリーンウェーブ」パターンは、実験結果に示されている「グリーンウェーブ」ポリシーが指定されたトラフィックモデル（複数のクロスストリートのあるアベニュー）で最適であることが証明されているため、DRLアルゴリズムが好ましいソリューションを生成することを示しています。
単一の道路交差点とグリッドロードネットワークの両方で配信されたポリシーは、DRLアルゴリズムのスケーラビリティを示しています。

要約(オリジナル)

Smart traffic lights in intelligent transportation systems (ITSs) are envisioned to greatly increase traffic efficiency and reduce congestion. Deep reinforcement learning (DRL) is a promising approach to adaptively control traffic lights based on the real-time traffic situation in a road network. However, conventional methods may suffer from poor scalability. In this paper, we investigate deep reinforcement learning to control traffic lights, and both theoretical analysis and numerical experiments show that the intelligent behavior “greenwave’ (i.e., a vehicle will see a progressive cascade of green lights, and not have to brake at any intersection) emerges naturally a grid road network, which is proved to be the optimal policy in an avenue with multiple cross streets. As a first step, we use two DRL algorithms for the traffic light control problems in two scenarios. In a single road intersection, we verify that the deep Q-network (DQN) algorithm delivers a thresholding policy; and in a grid road network, we adopt the deep deterministic policy gradient (DDPG) algorithm. Secondly, numerical experiments show that the DQN algorithm delivers the optimal control, and the DDPG algorithm with passive observations has the capability to produce on its own a high-level intelligent behavior in a grid road network, namely, the “greenwave’ policy emerges. We also verify the “greenwave’ patterns in a $5 \times 10$ grid road network. Thirdly, the “greenwave’ patterns demonstrate that DRL algorithms produce favorable solutions since the “greenwave’ policy shown in experiment results is proved to be optimal in a specified traffic model (an avenue with multiple cross streets). The delivered policies both in a single road intersection and a grid road network demonstrate the scalability of DRL algorithms.

arxiv情報

著者 Ming Zhu,Xiao-Yang Liu,Sem Borst,Anwar Walid
発行日 2025-05-07 13:57:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Deep Reinforcement Learning for Traffic Light Control in Intelligent Transportation Systems はコメントを受け付けていません

FedBWO: Enhancing Communication Efficiency in Federated Learning

投稿日: 2025年5月8日 作成者: jarxiv

要約

Federated Learning（FL）は分散型の機械学習（ML）セットアップであり、共有モデルは、データをプライベートに保ちながら、ローカルデータセットを使用してさまざまなクライアントによって共同トレーニングされています。
リソースに制約のあるデバイスを考慮すると、フロリダ州のクライアントは、多くの場合、トランスミッション容量が制限されています。
システムのパフォーマンスを向上させることを目指して、クライアントとサーバー間の通信を減らす必要があります。
現在のFL戦略は、FLプロセス内で膨大な量のデータ（モデル重み）を送信します。これには、高い通信帯域幅が必要です。
リソースの制約を考慮して、クライアントの数を増やし、その結果、データの量（モデルの重み）がボトルネックにつながる可能性があります。
このホワイトペーパーでは、クライアントからのローカルモデルの重みではなくパフォーマンススコアのみを送信することにより、送信データの量を減らすために、フェデレーションブラックウィドウ最適化（FEDBWO）手法を紹介します。
FEDBWOは、BWOアルゴリズムを採用して、ローカルモデルの更新を改善します。
実施された実験は、FedBWOがグローバルモデルのパフォーマンスとシステム全体の通信効率を著しく改善することを証明しています。
実験結果によると、FEDBWOは、FEDAVGよりも平均21％、FedGWOよりも12％のグローバルモデルの精度を高めます。
さらに、FEDBWOは、他の方法と比較して通信コストを劇的に減少させます。

要約(オリジナル)

Federated Learning (FL) is a distributed Machine Learning (ML) setup, where a shared model is collaboratively trained by various clients using their local datasets while keeping the data private. Considering resource-constrained devices, FL clients often suffer from restricted transmission capacity. Aiming to enhance the system performance, the communication between clients and server needs to be diminished. Current FL strategies transmit a tremendous amount of data (model weights) within the FL process, which needs a high communication bandwidth. Considering resource constraints, increasing the number of clients and, consequently, the amount of data (model weights) can lead to a bottleneck. In this paper, we introduce the Federated Black Widow Optimization (FedBWO) technique to decrease the amount of transmitted data by transmitting only a performance score rather than the local model weights from clients. FedBWO employs the BWO algorithm to improve local model updates. The conducted experiments prove that FedBWO remarkably improves the performance of the global model and the communication efficiency of the overall system. According to the experimental outcomes, FedBWO enhances the global model accuracy by an average of 21% over FedAvg, and 12% over FedGWO. Furthermore, FedBWO dramatically decreases the communication cost compared to other methods.

arxiv情報

著者 Vahideh Hayyolalam,Öznur Özkasap
発行日 2025-05-07 14:02:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | FedBWO: Enhancing Communication Efficiency in Federated Learning はコメントを受け付けていません

Phase Diagram from Nonlinear Interaction between Superconducting Order and Density: Toward Data-Based Holographic Superconductor

投稿日: 2025年5月8日 作成者: jarxiv

要約

ホログラフィック超伝導体のモデリングにおける逆の問題に対処します。
実験によって描かれた重要な温度挙動に研究を焦点を当てています。
物理学に基づいたニューラルネットワーク法を使用して、質量遷移挙動を理解するために必要な質量関数$ m（f^2）$を見つけます。
この質量関数は、超伝導秩序と電荷キャリア密度の間の非線形相互作用を表します。
アルゴリズムの学習プロセスを改善するために位置埋め込み層を導入し、ADAMの最適化を使用して、適切な精度でホログラフィック計算を介して重要な温度データを予測します。
位置埋め込み層の考慮は、人工知能（AI）フィールドでの自然言語処理の変圧器モデルによって動機付けられています。
実際のデータによって提供される通常と超伝導相の境界線を再現するホログラフィックモデルを取得します。
私たちの仕事は、実験から定量的に得られた位相遷移データを一致させる最初のホログラフィックの試みです。
また、現在の作業は、データベースのホログラフィックモデルの新しい方法論を提供します。

要約(オリジナル)

We address an inverse problem in modeling holographic superconductors. We focus our research on the critical temperature behavior depicted by experiments. We use a physics-informed neural network method to find a mass function $M(F^2)$, which is necessary to understand phase transition behavior. This mass function describes a nonlinear interaction between superconducting order and charge carrier density. We introduce positional embedding layers to improve the learning process in our algorithm, and the Adam optimization is used to predict the critical temperature data via holographic calculation with appropriate accuracy. Consideration of the positional embedding layers is motivated by the transformer model of natural-language processing in the artificial intelligence (AI) field. We obtain holographic models that reproduce borderlines of the normal and superconducting phases provided by actual data. Our work is the first holographic attempt to match phase transition data quantitatively obtained from experiments. Also, the present work offers a new methodology for data-based holographic models.

arxiv情報

著者 Sejin Kim,Kyung Kiu Kim,Yunseok Seo
発行日 2025-05-07 14:12:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cond-mat.supr-con, cs.AI, hep-th | Phase Diagram from Nonlinear Interaction between Superconducting Order and Density: Toward Data-Based Holographic Superconductor はコメントを受け付けていません