「cs.DC」カテゴリーアーカイブ

OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training

投稿日: 2024年7月11日 作成者: jarxiv

要約 OpenDiLoCo は、大規模言語モデル用の分散低通信 (DiLoCo) … 続きを読む →

カテゴリー: cs.DC, cs.LG | OpenDiLoCo: An Open-Source Framework for Globally Distributed Low-Communication Training はコメントを受け付けていません

Fine-Tuning Large Language Models with User-Level Differential Privacy

投稿日: 2024年7月11日 作成者: jarxiv

要約 私たちは、各ユーザーが投稿したすべてのサンプルを確実に保護するために、ユー … 続きを読む →

カテゴリー: cs.CL, cs.CR, cs.DC, cs.LG | Fine-Tuning Large Language Models with User-Level Differential Privacy はコメントを受け付けていません

Metron: Holistic Performance Evaluation Framework for LLM Inference Systems

投稿日: 2024年7月10日 作成者: jarxiv

要約 実稼働環境で大規模言語モデル (LLM) を提供すると、多額のコストが発生 … 続きを読む →

カテゴリー: cs.AI, cs.CL, cs.DC, cs.LG | Metron: Holistic Performance Evaluation Framework for LLM Inference Systems はコメントを受け付けていません

Simple Opinion Dynamics for No-Regret Learning

投稿日: 2024年7月9日 作成者: jarxiv

要約 私たちは、分散型 GOSSIP モデルにおける協力的なマルチエージェント … 続きを読む →

カテゴリー: cs.DC, cs.DS, cs.LG | Simple Opinion Dynamics for No-Regret Learning はコメントを受け付けていません

Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises

投稿日: 2024年7月9日 作成者: jarxiv

要約 フェデレーテッド ラーニング (FL) は、大規模な機械学習において大きな … 続きを読む →

カテゴリー: cs.CR, cs.DC, cs.IT, cs.LG, math.IT | Byzantine-Resilient Secure Aggregation for Federated Learning Without Privacy Compromises はコメントを受け付けていません

Lazarus: Resilient and Elastic Training of Mixture-of-Experts Models with Adaptive Expert Placement

投稿日: 2024年7月8日 作成者: jarxiv

要約 疎に活性化されたMoE（Mixture-of-Experts）アーキテクチ … 続きを読む →

カテゴリー: cs.DC, cs.LG | Lazarus: Resilient and Elastic Training of Mixture-of-Experts Models with Adaptive Expert Placement はコメントを受け付けていません

Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation

投稿日: 2024年7月4日 作成者: jarxiv

要約 連携学習は分散したクライアントリソースを活用するが、クライアントの能力が異 … 続きを読む →

カテゴリー: cs.AI, cs.DC, cs.LG | Effective Heterogeneous Federated Learning via Efficient Hypernetwork-based Weight Generation はコメントを受け付けていません

Enabling Large Batch Size Training for DNN Models Beyond the Memory Limit While Maintaining Performance

投稿日: 2024年7月3日 作成者: jarxiv

要約 最近の深層学習モデルは、大きなバッチ サイズを使用してトレーニングすること … 続きを読む →

カテゴリー: cs.DC, cs.LG | Enabling Large Batch Size Training for DNN Models Beyond the Memory Limit While Maintaining Performance はコメントを受け付けていません

QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices

投稿日: 2024年7月3日 作成者: jarxiv

要約 多くの実稼働ディープラーニング クラスターは、多くの推論 GPU がアイド … 続きを読む →

カテゴリー: cs.DC, cs.LG | QSync: Quantization-Minimized Synchronous Distributed Training Across Hybrid Devices はコメントを受け付けていません

Uncertainty-Aware Decarbonization for Datacenters

投稿日: 2024年7月3日 作成者: jarxiv

要約 この論文は、データセンターの脱炭素化に向けた炭素強度予測の不確実性を定量化 … 続きを読む →

カテゴリー: cs.DC, cs.LG | Uncertainty-Aware Decarbonization for Datacenters はコメントを受け付けていません