Data Similarity-Based One-Shot Clustering for Multi-Task Hierarchical Federated Learning

投稿日: 2024年10月4日 作成者: jarxiv

要約

我々は、ユーザが異なるタスクの学習に取り組む階層的連合学習環境におけるクラスタ同一性推定の問題に取り組む。タスクの異質性という課題を克服するためには、同じタスクを持つユーザが同じグループに属し、他のグループと特徴抽出層の重みを共有しながら一緒に学習を行うように、ユーザをグループ化する必要がある。そのために、データの類似性に基づいてユーザを効果的に識別し、グループ化できるワンショットクラスタリングアルゴリズムを提案する。これにより、連携学習システム内において、より効率的な連携と共通レイヤ表現の共有が可能となる。提案アルゴリズムはクラスタリングプロセスを強化するだけでなく、プライバシーの懸念、通信オーバーヘッド、学習モデルや損失関数の振る舞いに関する事前知識の必要性に関連する課題も克服する。CIFAR-10やFashion MNISTなどの様々なデータセットを用いて提案アルゴリズムを検証し、精度と分散削減の点でベースラインを上回ることを示す。

要約(オリジナル)

We address the problem of cluster identity estimation in a hierarchical federated learning setting in which users work toward learning different tasks. To overcome the challenge of task heterogeneity, users need to be grouped in a way such that users with the same task are in the same group, conducting training together, while sharing the weights of feature extraction layers with the other groups. Toward that end, we propose a one-shot clustering algorithm that can effectively identify and group users based on their data similarity. This enables more efficient collaboration and sharing of a common layer representation within the federated learning system. Our proposed algorithm not only enhances the clustering process, but also overcomes challenges related to privacy concerns, communication overhead, and the need for prior knowledge about learning models or loss function behaviors. We validate our proposed algorithm using various datasets such as CIFAR-10 and Fashion MNIST, and show that it outperforms the baseline in terms of accuracy and variance reduction.

arxiv情報

著者 Abdulmoneam Ali,Ahmed Arafa
発行日 2024-10-03 17:51:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.IT, cs.LG, cs.NI, eess.SP, math.IT | コメントする

OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?

投稿日: 2024年10月4日 作成者: jarxiv

要約

分布シフトは様々な形で現れるため、分布外（OOD）汎化は困難である。多数の学習アルゴリズムが存在し、それぞれが特定のOOD状況において性能を向上させることができる。我々は、OOD汎化の課題の多くは、適切なデータセットに適切なアルゴリズムを選択することにあると仮定する。しかし、このようなアルゴリズムの選択は、現実世界の複雑な変化の下では、しばしば捉えどころがない。本研究では、OOD汎化のためのアルゴリズム選択のタスクを定式化し、学習によってアプローチできるかどうかを調べる。我々はOOD-Chameleonと名付けた、タスクを候補アルゴリズムに対する教師あり分類として扱う解決策を提案する。我々は、多様なシフト（共変量シフト、ラベルシフト、偽相関）の種類、大きさ、組み合わせを表す、学習対象のデータセットを構築する。データセットの特徴からアルゴリズムの相対的な性能を予測するモデルを学習する。これにより、最適な学習戦略を事前に選択することができる。我々の実験によれば、制御可能で現実的な画像データからなる未知のデータセットにおいて、適応的選択は個々のアルゴリズムや単純な選択ヒューリスティックを凌駕する。モデルを検査することで、自明でないデータとアルゴリズムの相互作用を学習し、あるアルゴリズムが他のアルゴリズムを凌駕するための条件を明らかにする。これにより、(1)新しいアルゴリズムを設計する代わりに、既存のアルゴリズムを用いてOODの汎化を強化する、(2)データセットの特性に関する既存のアルゴリズムの適用可能性についての洞察を得る、という新たな道が開かれる。

要約(オリジナル)

Out-of-distribution (OOD) generalization is challenging because distribution shifts come in many forms. A multitude of learning algorithms exist and each can improve performance in specific OOD situations. We posit that much of the challenge of OOD generalization lies in choosing the right algorithm for the right dataset. However, such algorithm selection is often elusive under complex real-world shifts. In this work, we formalize the task of algorithm selection for OOD generalization and investigate whether it could be approached by learning. We propose a solution, dubbed OOD-Chameleon that treats the task as a supervised classification over candidate algorithms. We construct a dataset of datasets to learn from, which represents diverse types, magnitudes and combinations of shifts (covariate shift, label shift, spurious correlations). We train the model to predict the relative performance of algorithms given a dataset’s characteristics. This enables a priori selection of the best learning strategy, i.e. without training various models as needed with traditional model selection. Our experiments show that the adaptive selection outperforms any individual algorithm and simple selection heuristics, on unseen datasets of controllable and realistic image data. Inspecting the model shows that it learns non-trivial data/algorithms interactions, and reveals the conditions for any one algorithm to surpass another. This opens new avenues for (1) enhancing OOD generalization with existing algorithms instead of designing new ones, and (2) gaining insights into the applicability of existing algorithms with respect to datasets’ properties.

arxiv情報

著者 Liangze Jiang,Damien Teney
発行日 2024-10-03 17:52:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

An Online Automatic Modulation Classification Scheme Based on Isolation Distributional Kernel

投稿日: 2024年10月4日 作成者: jarxiv

要約

自動変調分類（AMC）は、現代の非協力的な通信ネットワークにおける重要な技術として、様々な民間および軍事アプリケーションにおいて重要な役割を果たしている。しかし、既存のAMC手法は複雑で、計算量が多いためバッチモードでしか動作しない。本稿では、分離分布カーネルに基づく新しいオンラインAMC方式を紹介する。我々の手法は2つの点で際立っている。第一に、分布カーネルを用いてベースバンド信号を表現する最初の提案である。第二に、現実的な時変チャネル条件下でのオンライン設定でうまく機能する先駆的なAMC技術を導入している。オンライン設定での広範な実験を通して、提案する分類器の有効性を実証する。我々の結果は、提案アプローチが、2つの最先端のディープラーニング分類器を含む、既存のベースラインモデルを凌駕することを示している。さらに、線形な時間複雑性を持つ、AMCのための最初のオンライン分類器として区別され、これはリアルタイムアプリケーションのための大幅な効率アップを示す。

要約(オリジナル)

Automatic Modulation Classification (AMC), as a crucial technique in modern non-cooperative communication networks, plays a key role in various civil and military applications. However, existing AMC methods usually are complicated and can work in batch mode only due to their high computational complexity. This paper introduces a new online AMC scheme based on Isolation Distributional Kernel. Our method stands out in two aspects. Firstly, it is the first proposal to represent baseband signals using a distributional kernel. Secondly, it introduces a pioneering AMC technique that works well in online settings under realistic time-varying channel conditions. Through extensive experiments in online settings, we demonstrate the effectiveness of the proposed classifier. Our results indicate that the proposed approach outperforms existing baseline models, including two state-of-the-art deep learning classifiers. Moreover, it distinguishes itself as the first online classifier for AMC with linear time complexity, which marks a significant efficiency boost for real-time applications.

arxiv情報

著者 Xinpeng Li,Zile Jiang,Kai Ming Ting,Ye Zhu
発行日 2024-10-03 17:57:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

ReLIC: A Recipe for 64k Steps of In-Context Reinforcement Learning for Embodied AI

投稿日: 2024年10月4日 作成者: jarxiv

要約

知的な具現化エージェントは、長い経験の履歴を意思決定に統合することで、新しいシナリオに素早く適応する必要がある。例えば、不慣れな家にいるロボットは、最初はタスクに必要なオブジェクトの位置がわからず、非効率的な作業を行うかもしれない。しかし、経験を重ねるにつれて、環境のレイアウトを学習し、物体の位置を記憶するようになり、新しいタスクをより効率的にこなせるようになるはずだ。このような新しいタスクへの迅速な適応を可能にするために、我々は、具現化エージェントのためのコンテキスト内強化学習（RL）の新しいアプローチであるReLICを紹介する。ReLICを用いることで、エージェントは、RLによって自己生成された経験によって訓練されながら、64,000ステップのコンテキスト内経験を用いて、完全な注意を払って新しい環境に適応することができる。我々は、「部分更新」と呼ばれるオンポリシーRLのための新しいポリシー更新スキームと、具現化エージェントのための長い観測履歴の効果的な利用を可能にするSink-KVメカニズムを提案することによって、これを達成する。我々の手法は、具現化された多オブジェクトナビゲーションタスクにおいて、未見の家屋への適応において様々なメタRLベースラインを凌駕する。さらに、ReLICは、専門家の実演による訓練を受けていないにもかかわらず、数ショット模倣学習が可能であることを見出した。また、ReLICの包括的な分析を行い、大規模なRL訓練、提案する部分更新スキーム、Sink-KVの組み合わせが効果的な文脈内学習に不可欠であることを強調する。ReLICと我々の全ての実験のコードは https://github.com/aielawady/relic にある。

要約(オリジナル)

Intelligent embodied agents need to quickly adapt to new scenarios by integrating long histories of experience into decision-making. For instance, a robot in an unfamiliar house initially wouldn’t know the locations of objects needed for tasks and might perform inefficiently. However, as it gathers more experience, it should learn the layout of its environment and remember where objects are, allowing it to complete new tasks more efficiently. To enable such rapid adaptation to new tasks, we present ReLIC, a new approach for in-context reinforcement learning (RL) for embodied agents. With ReLIC, agents are capable of adapting to new environments using 64,000 steps of in-context experience with full attention while being trained through self-generated experience via RL. We achieve this by proposing a novel policy update scheme for on-policy RL called ‘partial updates” as well as a Sink-KV mechanism that enables effective utilization of a long observation history for embodied agents. Our method outperforms a variety of meta-RL baselines in adapting to unseen houses in an embodied multi-object navigation task. In addition, we find that ReLIC is capable of few-shot imitation learning despite never being trained with expert demonstrations. We also provide a comprehensive analysis of ReLIC, highlighting that the combination of large-scale RL training, the proposed partial updates scheme, and the Sink-KV are essential for effective in-context learning. The code for ReLIC and all our experiments is at https://github.com/aielawady/relic

arxiv情報

著者 Ahmad Elawady,Gunjan Chhablani,Ram Ramrakhya,Karmesh Yadav,Dhruv Batra,Zsolt Kira,Andrew Szot
発行日 2024-10-03 17:58:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

Forecasting Smog Clouds With Deep Learning

投稿日: 2024年10月4日 作成者: jarxiv

要約

この概念実証研究では、2地点間の二酸化窒素（NO2）、オゾン（O3）、（微小）粒子状物質（PM10＆PM2.5）の濃度と気象学的共変量の多変量時系列予測を、長短記憶（LSTM）とゲート型リカレントユニット（GRU）アーキテクチャを中心とした様々なディープラーニングモデルを用いて行う。特に、大気汚染ダイナミクスと大気科学にインスパイアされた、統合された階層的モデルアーキテクチャを提案し、マルチタスク学習を採用し、一方向モデルと完全連結モデルによってベンチマークを行う。その結果、階層型GRUが、スモッグに関連する汚染物質の濃度を予測するための、競争力のある効率的な手法であることが実証された。

要約(オリジナル)

In this proof-of-concept study, we conduct multivariate timeseries forecasting for the concentrations of nitrogen dioxide (NO2), ozone (O3), and (fine) particulate matter (PM10 & PM2.5) with meteorological covariates between two locations using various deep learning models, with a focus on long short-term memory (LSTM) and gated recurrent unit (GRU) architectures. In particular, we propose an integrated, hierarchical model architecture inspired by air pollution dynamics and atmospheric science that employs multi-task learning and is benchmarked by unidirectional and fully-connected models. Results demonstrate that, above all, the hierarchical GRU proves itself as a competitive and efficient method for forecasting the concentration of smog-related pollutants.

arxiv情報

著者 Valentijn Oldenburg,Juan Cardenas-Cartagena,Matias Valdenegro-Toro
発行日 2024-10-03 17:59:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

Immunization against harmful fine-tuning attacks

投稿日: 2024年10月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）は多くの場合、有害なテキスト生成を防ぐことを目的とした安全ガードで訓練される。しかし、有害なデータセット上でLLMをファインチューニングすることで、このような安全なトレーニングが解除される可能性がある。この新たな脅威（有害なファインチューニング攻撃）は、これまでの研究で特徴づけられてきたが、特に防御者がファインチューニングプロセスを制御できない場合に、このような攻撃に対する防御の構築と検証をどのように進めるべきかについては、ほとんど理解されていない。我々は、攻撃者のトレーニングバジェットに基づく正式なフレームワークを導入し、これを「免疫化」条件と呼ぶ。有害なファインチューニング問題の形式的な特徴を用いて、成功する防御がどのようなもので構成されなければならないかについての徹底的な説明を提供し、私たちに確信を与える厳密な防御研究をどのように進めるべきかについての一連のガイドラインを確立する。

要約(オリジナル)

Large Language Models (LLMs) are often trained with safety guards intended to prevent harmful text generation. However, such safety training can be removed by fine-tuning the LLM on harmful datasets. While this emerging threat (harmful fine-tuning attacks) has been characterized by previous work, there is little understanding of how we should proceed in constructing and validating defenses against these attacks especially in the case where defenders would not have control of the fine-tuning process. We introduce a formal framework based on the training budget of an attacker which we call ‘Immunization’ conditions. Using a formal characterisation of the harmful fine-tuning problem, we provide a thorough description of what a successful defense must comprise of and establish a set of guidelines on how rigorous defense research that gives us confidence should proceed.

arxiv情報

著者 Domenic Rosati,Jan Wehner,Kai Williams,Łukasz Bartoszcze,Jan Batzner,Hassan Sajjad,Frank Rudzicz
発行日 2024-10-03 16:39:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | コメントする

Hate Personified: Investigating the role of LLMs in content moderation

投稿日: 2024年10月4日 作成者: jarxiv

要約

ヘイト検出のような主観的なタスクでは、人によってヘイトの捉え方が異なるため、Large Language Model (LLM)の多様なグループを表現する能力は不明確である。我々は、プロンプトに追加的な文脈を含めることで、地理的プライミング、ペルソナ属性、数値情報に対するLLMの感度を包括的に分析し、様々なグループのニーズがどの程度反映されているかを評価した。2つのLLM、5つの言語、6つのデータセットで得られた知見から、ペルソナベースの属性を模倣するとアノテーションにばらつきが生じることが明らかになった。一方、地理的なシグナルを取り入れると、地域的なアライメントが向上する。また、LLMは数値アンカーに敏感であり、コミュニティベースのフラグ立ての努力と敵対者への暴露を活用できることを示している。我々の研究は、予備的なガイドラインを提供し、文化的に敏感なケースでLLMを適用する際のニュアンスを強調している。

要約(オリジナル)

For subjective tasks such as hate detection, where people perceive hate differently, the Large Language Model’s (LLM) ability to represent diverse groups is unclear. By including additional context in prompts, we comprehensively analyze LLM’s sensitivity to geographical priming, persona attributes, and numerical information to assess how well the needs of various groups are reflected. Our findings on two LLMs, five languages, and six datasets reveal that mimicking persona-based attributes leads to annotation variability. Meanwhile, incorporating geographical signals leads to better regional alignment. We also find that the LLMs are sensitive to numerical anchors, indicating the ability to leverage community-based flagging efforts and exposure to adversaries. Our work provides preliminary guidelines and highlights the nuances of applying LLMs in culturally sensitive cases.

arxiv情報

著者 Sarah Masud,Sahajpreet Singh,Viktor Hangya,Alexander Fraser,Tanmoy Chakraborty
発行日 2024-10-03 16:43:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.CY | コメントする

How to Train Long-Context Language Models (Effectively)

投稿日: 2024年10月4日 作成者: jarxiv

要約

我々は、ロングコンテクスト情報を効果的に利用するための言語モデル(LM)の継続的な学習と教師付き微調整(SFT)について研究する。パープレキシティや単純なNIAH（Needle-in-a-Haystack）テストの代わりに、幅広いロングコンテクスト課題を使用し、ロングコンテクスト能力をより良く明らかにするため、SFT後のモデルを命令データで評価する。また、SFT後のモデルを命令データで評価することで、ロングコンテキストの能力をより明確にすることができる。その結果、(1)コードリポジトリや書籍は、ロングデータの優れたソースであるが、高品質のショートデータと組み合わせることが重要であること、(2)評価長を超えるシーケンス長でのトレーニングは、ロングコンテキストの性能を向上させること、(3)SFTの場合、ショートインストラクションデータセットのみを使用することで、ロングコンテキストのタスクで強力な性能が得られることがわかった。Llama-3から初期化され、40Bのトークンで学習された我々の最終モデルProLong-8Bは、128Kの長さで同サイズのモデルの中で最先端のロングコンテクスト性能を示す。ProLongは、ロングコンテキストの学習中に見たトークンの数がLlama-3.18B-Instructの5%しかないにもかかわらず、ロングコンテキストのタスクの大部分でLlama-3.18B-Instructを上回る。さらに、ProLongは512Kまでのトークンを効果的に処理することができ、これは公開されているLMの中で最も長いコンテキストウィンドウの一つである。

要約(オリジナル)

We study continued training and supervised fine-tuning (SFT) of a language model (LM) to make effective use of long-context information. We first establish a reliable evaluation protocol to guide model development — Instead of perplexity or simple needle-in-a-haystack (NIAH) tests, we use a broad set of long-context tasks, and we evaluate models after SFT with instruction data as this better reveals long-context abilities. Supported by our robust evaluations, we run thorough experiments to decide the data mix for continued pre-training, the instruction tuning dataset, and many other design choices. We find that (1) code repositories and books are excellent sources of long data, but it is crucial to combine them with high-quality short data; (2) training with a sequence length beyond the evaluation length boosts long-context performance; (3) for SFT, using only short instruction datasets yields strong performance on long-context tasks. Our final model, ProLong-8B, which is initialized from Llama-3 and trained on 40B tokens, demonstrates state-of-the-art long-context performance among similarly sized models at a length of 128K. ProLong outperforms Llama-3.18B-Instruct on the majority of long-context tasks despite having seen only 5% as many tokens during long-context training. Additionally, ProLong can effectively process up to 512K tokens, one of the longest context windows of publicly available LMs.

arxiv情報

著者 Tianyu Gao,Alexander Wettig,Howard Yen,Danqi Chen
発行日 2024-10-03 16:46:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.LG | コメントする

On Leakage of Code Generation Evaluation Datasets

投稿日: 2024年10月4日 作成者: jarxiv

要約

本論文では、コード生成テストセットによる汚染、特に最新の大規模言語モデルでの使用について考察する。(i)直接的なデータ漏洩、(ii)合成データの使用による間接的なデータ漏洩、(iii)モデル選択時の評価セットへのオーバーフィット。これに対処するために、私たちはLess Basic Python Problems (LBPP)をリリースします。LBPPは、161のプロンプトとそれに関連するPythonの解答からなる、汚染されていない新しいベンチマークです。LBPPはhttps://huggingface.co/datasets/CohereForAI/lbpp。

要約(オリジナル)

In this paper, we consider contamination by code generation test sets, in particular in their use in modern large language models. We discuss three possible sources of such contamination and show findings supporting each of them: (i) direct data leakage, (ii) indirect data leakage through the use of synthetic data and (iii) overfitting to evaluation sets during model selection. To address this, we release Less Basic Python Problems (LBPP): an uncontaminated new benchmark of 161 prompts with their associated Python solutions. LBPP is released at https://huggingface.co/datasets/CohereForAI/lbpp .

arxiv情報

著者 Alexandre Matton,Tom Sherborne,Dennis Aumiller,Elena Tommasone,Milad Alizadeh,Jingyi He,Raymond Ma,Maxime Voisin,Ellen Gilsenan-McMahon,Matthias Gallé
発行日 2024-10-03 16:48:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | コメントする

Examining Language Modeling Assumptions Using an Annotated Literary Dialect Corpus

投稿日: 2024年10月4日 作成者: jarxiv

要約

19世紀アメリカ文学の正書法変化トークンのデータセットと、人間による注釈が加えられた方言グループタグの新しいレイヤーを紹介する。このデータセットに対して、トークン（BERT）と文字（CANINE）の両方のレベルの文脈言語モデルを用いて、初期の幅広い実験を行った。その結果、意図的な正書法の変化によって生じる「方言効果」は複数の言語チャンネルを用いること、そして、これらのチャンネルは、特定の言語モデリングの仮定があれば、様々な程度まで浮上させることができることがわかった。具体的には、トークン化スキームの選択が、モデルが表面化できる正書法情報の種類に有意義な影響を与えることを示す証拠を発見した。

要約(オリジナル)

We present a dataset of 19th century American literary orthovariant tokens with a novel layer of human-annotated dialect group tags designed to serve as the basis for computational experiments exploring literarily meaningful orthographic variation. We perform an initial broad set of experiments over this dataset using both token (BERT) and character (CANINE)-level contextual language models. We find indications that the ‘dialect effect’ produced by intentional orthographic variation employs multiple linguistic channels, and that these channels are able to be surfaced to varied degrees given particular language modelling assumptions. Specifically, we find evidence showing that choice of tokenization scheme meaningfully impact the type of orthographic information a model is able to surface.

arxiv情報

著者 Craig Messner,Tom Lippincott
発行日 2024-10-03 16:58:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | コメントする