Do Large Language Models Need a Content Delivery Network?

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模言語モデル (LLM) の使用が急速に拡大するにつれて、さまざまな LLM クエリを補足するために必要な知識の範囲も拡大しています。
したがって、LLM 推論において新しい知識を柔軟かつ効率的に注入できるようにすることが重要です。
3 つの高レベルのオプションが存在します: (i) LLM の重みに知識を埋め込む (つまり、微調整)、(ii) LLM のテキスト入力の一部として知識を含める (つまり、コンテキスト内学習)、または (iii)
プレフィル中に新しいナレッジの KV キャッシュを LLM に注入します。
この論文では、微調整とコンテキスト内学習が一般的ですが、知識の媒体として KV キャッシュを使用すると、知識注入のよりモジュール化された管理と、低コストで高速な応答によるより効率的な LLM サービスが同時に可能になる可能性があると主張しています。
これらのメリットを実現するために、私たちは、LLM エンジンやその他のコンピューティングおよびストレージ リソースにわたる KV キャッシュのストレージ、転送、構成を動的に最適化する、LLM サービスの新しいシステム コンポーネントである Knowledge Delivery Network (KDN) を構想しています。
Akamai などのコンテンツ配信ネットワーク (CDN) が効率的なデータ配信を通じてインターネット エコシステムの成功を可能にしたのと同様に、KDN は効率的なナレッジ配信を通じて LLM アプリケーションの成功に不可欠になると考えています。
KDN プロトタイプを https://github.com/LMCache/LMCache でオープンソース化しました。

要約(オリジナル)

As the use of large language models (LLMs) expands rapidly, so does the range of knowledge needed to supplement various LLM queries. Thus, enabling flexible and efficient injection of new knowledge in LLM inference is critical. Three high-level options exist: (i) embedding the knowledge in LLM’s weights (i.e., fine-tuning), (ii) including the knowledge as a part of LLM’s text input (i.e., in-context learning), or (iii) injecting the KV caches of the new knowledge to LLM during prefill. This paper argues that, although fine-tuning and in-context learning are popular, using KV caches as the medium of knowledge could simultaneously enable more modular management of knowledge injection and more efficient LLM serving with low cost and fast response. To realize these benefits, we envision a Knowledge Delivery Network (KDN), a new system component in LLM services that dynamically optimizes the storage, transfer, and composition of KV cache across LLM engines and other compute and storage resources. We believe that, just like content delivery networks (CDNs), such as Akamai, enabled the success of the Internet ecosystem through their efficient data delivery, KDNs will be critical to the success of LLM applications through their efficient knowledge delivery. We have open-sourced a KDN prototype at https://github.com/LMCache/LMCache.

arxiv情報

著者 Yihua Cheng,Kuntai Du,Jiayi Yao,Junchen Jiang
発行日 2024-10-21 15:59:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Do Large Language Models Need a Content Delivery Network? はコメントを受け付けていません

Exploring the Potential of Large Language Models for Heterophilic Graphs

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、グラフ ニューラル ネットワーク (GNN) を含むさまざまな機械学習アプリケーションを強化する重要な機会を提供します。
LLM 内の膨大なオープンワールドの知識を活用することで、テキスト データをより効果的に解釈して利用して、隣接するノードに異なるラベルが付いていることが多い異好性グラフの特徴をより適切に特徴付けることができます。
ただし、異好性グラフに対する既存のアプローチでは、ノードに関連付けられた豊富なテキスト データが見落とされており、異好性のコンテキストに対するより深い洞察が得られる可能性があります。
この研究では、異好性グラフをモデル化するための LLM の可能性を調査し、LLM 強化エッジ弁別器と LLM ガイド付きエッジ再重み付けという新しい 2 段階のフレームワークを提案します。
最初の段階では、LLM を微調整して、ノードのテキスト内容に基づいて同親和性エッジと異親和性エッジをより適切に識別します。
第 2 段階では、ノードの特徴、構造、異好性または同種性の特性に基づいて、さまざまなエッジ タイプの GNN でのメッセージ伝播を適応的に管理します。
実際のシナリオで LLM を展開する際の計算需要に対処するために、競争力のあるパフォーマンスを維持する、より小型で効率的なモデルを微調整するためのモデル抽出手法をさらに検討します。
広範な実験によりフレームワークの有効性が検証され、LLM を使用して異好性グラフ上のノード分類を強化する実現可能性が実証されました。

要約(オリジナル)

Large language models (LLMs) have presented significant opportunities to enhance various machine learning applications, including graph neural networks (GNNs). By leveraging the vast open-world knowledge within LLMs, we can more effectively interpret and utilize textual data to better characterize heterophilic graphs, where neighboring nodes often have different labels. However, existing approaches for heterophilic graphs overlook the rich textual data associated with nodes, which could unlock deeper insights into their heterophilic contexts. In this work, we explore the potential of LLMs for modeling heterophilic graphs and propose a novel two-stage framework: LLM-enhanced edge discriminator and LLM-guided edge reweighting. In the first stage, we fine-tune the LLM to better identify homophilic and heterophilic edges based on the textual content of their nodes. In the second stage, we adaptively manage message propagation in GNNs for different edge types based on node features, structures, and heterophilic or homophilic characteristics. To cope with the computational demands when deploying LLMs in practical scenarios, we further explore model distillation techniques to fine-tune smaller, more efficient models that maintain competitive performance. Extensive experiments validate the effectiveness of our framework, demonstrating the feasibility of using LLMs to enhance node classification on heterophilic graphs.

arxiv情報

著者 Yuxia Wu,Shujie Li,Yuan Fang,Chuan Shi
発行日 2024-10-21 15:59:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, cs.SI | Exploring the Potential of Large Language Models for Heterophilic Graphs はコメントを受け付けていません

Beyond 2:4: exploring V:N:M sparsity for efficient transformer inference on GPUs

投稿日: 2024年10月22日 作成者: jarxiv

要約

現在まで、2:4 スパース性は、GPU 上のスパース テンソル コアを使用して高速化できる唯一のスパース パターンです。
実際には、2:4 スパース性は実際の速度向上が低く ($\leq 1.3$)、固定のスパース比を必要とすることがよくあります。つまり、4:8、8:16、または 50% を超えるスパース性などの他の比率では影響がありません。
GPU の高速化。
最近の研究では、V:N:M スパース性が 2:4 スパース性の制限に対処する上で有望であることが示唆されています。
ただし、精度に関しては、ビジョン Transformer や大規模言語モデル (LLM) など、より広範な Transformer モデルに対する V:N:M スパース性の影響はほとんど調査されていません。
さらに、適切な V 値と M 値を選択する方法など、V:N:M スパース性に関連するいくつかの特定の問題は未解決のままです。
この研究では、下流のタスクに関連するものから、複数のタスクにわたるビジョン モデルと LLM における V:N:M スパース性の適用を徹底的に調査します。
我々は、ヒューリスティックな V および M 選択、V:N:M 固有のチャネル順列、および 3 段階の LoRA トレーニング手法を含む、V:N:M スパース トランスフォーマーの適用性と精度を向上させるための 3 つの主要なアプローチを提案します。
実験結果は、私たちの方法を使用すると、DeiT-small が 64:2:5 スパース性でロスレス精度を達成するのに対し、DeiT ベースは 64:2:8 スパース性でも精度を維持することを示しています。
さらに、64:2:5 スパースで微調整された LLama2-7B は、ダウンストリーム タスクにおいてトレーニング不要の 2:4 スパース代替案と同等以上のパフォーマンスを発揮します。
さらに重要なことは、V:N:M スパース トランスフォーマーは、2:4 スパースと比較して、高速化と精度のトレードオフの範囲が広いことです。
全体として、私たちの調査により、コスト重視の推論シナリオにおいて V:N:M スパース性が Transformer の真に効果的な加速ソリューションとして機能することが大幅に促進されました。

要約(オリジナル)

To date, 2:4 sparsity has stood as the only sparse pattern that can be accelerated using sparse tensor cores on GPUs. In practice, 2:4 sparsity often possesses low actual speedups ($\leq 1.3$) and requires fixed sparse ratios, meaning that other ratios, such as 4:8, 8:16, or those exceeding 50% sparsity, do not incur any speedups on GPUs. Recent studies suggest that V:N:M sparsity is promising in addressing these limitations of 2:4 sparsity. However, regarding accuracy, the effects of V:N:M sparsity on broader Transformer models, such as vision Transformers and large language models (LLMs), are largely unexamined. Moreover, Some specific issues related to V:N:M sparsity, such as how to select appropriate V and M values, remain unresolved. In this study, we thoroughly investigate the application of V:N:M sparsity in vision models and LLMs across multiple tasks, from pertaining to downstream tasks. We propose three key approaches to enhance the applicability and accuracy of V:N:M-sparse Transformers, including heuristic V and M selection, V:N:M-specific channel permutation, and three-staged LoRA training techniques. Experimental results show that, with our methods, the DeiT-small achieves lossless accuracy at 64:2:5 sparsity, while the DeiT-base maintains accuracy even at 64:2:8 sparsity. In addition, the fine-tuned LLama2-7B at 64:2:5 sparsity performs comparably or better than training-free 2:4 sparse alternatives on downstream tasks. More importantly, V:N:M-sparse Transformers offer a wider range of speedup-accuracy trade-offs compared to 2:4 sparsity. Overall, our exploration largely facilitates the V:N:M sparsity to act as a truly effective acceleration solution for Transformers in cost-sensitive inference scenarios.

arxiv情報

著者 Kang Zhao,Tao Yuan,Han Bao,Zhenfeng Su,Chang Gao,Zhaofeng Sun,Zichen Liang,Liping Jing,Jianfei Chen
発行日 2024-10-21 16:00:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Beyond 2:4: exploring V:N:M sparsity for efficient transformer inference on GPUs はコメントを受け付けていません

Modeling dynamic neural activity by combining naturalistic video stimuli and stimulus-independent latent factors

投稿日: 2024年10月22日 作成者: jarxiv

要約

脳が動的な自然刺激をどのように処理するかを理解することは、依然として神経科学における基本的な課題です。
現在の動的ニューラルエンコーディングモデルは、入力として刺激を受け取りますが、神経応答の共有変動を無視するか、視覚入力を無視して神経応答または動作から潜在的な埋め込みを導出することでこの変動をモデル化します。
このギャップに対処するために、我々はビデオ入力と刺激に依存しない潜在因子を組み込んでニューロン応答の変動を捉え、母集団全体の同時分布を予測する確率モデルを提案します。
マウス V1 ニューロン応答でモデルをトレーニングおよびテストした結果、対数尤度の点でビデオのみのモデルよりも優れており、他のニューロンからの応答に条件付けするとさらなる改善が達成されることがわかりました。
さらに、モデルは行動データなしでトレーニングされたにもかかわらず、学習された潜在的要因がマウスの行動と強く相関していることがわかりました。

要約(オリジナル)

Understanding how the brain processes dynamic natural stimuli remains a fundamental challenge in neuroscience. Current dynamic neural encoding models either take stimuli as input but ignore shared variability in neural responses, or they model this variability by deriving latent embeddings from neural responses or behavior while ignoring the visual input. To address this gap, we propose a probabilistic model that incorporates video inputs along with stimulus-independent latent factors to capture variability in neuronal responses, predicting a joint distribution for the entire population. After training and testing our model on mouse V1 neuronal responses, we found that it outperforms video-only models in terms of log-likelihood and achieves further improvements when conditioned on responses from other neurons. Furthermore, we find that the learned latent factors strongly correlate with mouse behavior, although the model was trained without behavior data.

arxiv情報

著者 Finn Schmidt,Suhas Shrinivasan,Polina Turishcheva,Fabian H. Sinz
発行日 2024-10-21 16:01:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, q-bio.NC | Modeling dynamic neural activity by combining naturalistic video stimuli and stimulus-independent latent factors はコメントを受け付けていません

PODTILE: Facilitating Podcast Episode Browsing with Auto-generated Chapters

投稿日: 2024年10月22日 作成者: jarxiv

要約

ポッドキャスト エピソードなどの長いトーク オーディオ コンテンツのリスナーは、全体の構造を理解し、関連するセクションを見つけるのが難しいと感じることがよくあります。
実際的な解決策は、エピソードを章、つまりタイトルとタイムスタンプでラベル付けされた意味的に一貫したセグメントに分割することです。
現在、Spotify のプラットフォーム上のほとんどのエピソードにはクリエイターが提供するチャプターが欠けているため、チャプターの作成を自動化することが不可欠です。
ポッドキャスト エピソードのチャプタ化を拡大するには、特有の課題が伴います。
まず、エピソードは書かれたテキストよりも構造化されていない傾向があり、微妙な変化を伴う自発的な議論が特徴です。
第 2 に、トランスクリプトは通常、平均約 16,000 トークンと長く、コンテキストを維持できる効率的な処理が必要です。
これらの課題に対処するために、会話データをセグメント化するための微調整されたエンコーダー デコーダー トランスフォーマーである PODTILE を導入します。
このモデルは、入力トランスクリプトの章遷移とタイトルを同時に生成します。
コンテキストを保持するために、各入力テキストはエピソードのタイトル、説明、前の章のタイトルなどのグローバル コンテキストで強化されます。
当社の本質的な評価では、PODTILE は最も強力なベースラインと比較して ROUGE スコアで 11% の改善を達成しました。
さらに、エピソード コンテンツをナビゲートするリスナーにとって、自動生成されたチャプターの実際的な利点についての洞察も提供します。
私たちの調査結果は、自動生成されたチャプターが、あまり人気のないポッドキャストに参加するための便利なツールとして機能することを示しています。
最後に、章タイトルを使用すると、検索タスクにおけるスパース検索の有効性が向上するという経験的証拠を示します。

要約(オリジナル)

Listeners of long-form talk-audio content, such as podcast episodes, often find it challenging to understand the overall structure and locate relevant sections. A practical solution is to divide episodes into chapters–semantically coherent segments labeled with titles and timestamps. Since most episodes on our platform at Spotify currently lack creator-provided chapters, automating the creation of chapters is essential. Scaling the chapterization of podcast episodes presents unique challenges. First, episodes tend to be less structured than written texts, featuring spontaneous discussions with nuanced transitions. Second, the transcripts are usually lengthy, averaging about 16,000 tokens, which necessitates efficient processing that can preserve context. To address these challenges, we introduce PODTILE, a fine-tuned encoder-decoder transformer to segment conversational data. The model simultaneously generates chapter transitions and titles for the input transcript. To preserve context, each input text is augmented with global context, including the episode’s title, description, and previous chapter titles. In our intrinsic evaluation, PODTILE achieved an 11% improvement in ROUGE score over the strongest baseline. Additionally, we provide insights into the practical benefits of auto-generated chapters for listeners navigating episode content. Our findings indicate that auto-generated chapters serve as a useful tool for engaging with less popular podcasts. Finally, we present empirical evidence that using chapter titles can enhance effectiveness of sparse retrieval in search tasks.

arxiv情報

著者 Azin Ghazimatin,Ekaterina Garmash,Gustavo Penha,Kristen Sheets,Martin Achenbach,Oguz Semerci,Remi Galvez,Marcus Tannenberg,Sahitya Mantravadi,Divya Narayanan,Ofeliya Kalaydzhyan,Douglas Cole,Ben Carterette,Ann Clifton,Paul N. Bennett,Claudia Hauff,Mounia Lalmas
発行日 2024-10-21 16:17:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68P20, cs.AI, cs.IR, H.3.3 | PODTILE: Facilitating Podcast Episode Browsing with Auto-generated Chapters はコメントを受け付けていません

Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance

投稿日: 2024年10月22日 作成者: jarxiv

要約

最近の進歩により、ニューラル ネットワークは前例のないサイズに拡張され、幅広いタスクにわたって驚くべきパフォーマンスが達成されました。
ただし、リソースに制約のあるデバイスにこれらの大規模モデルを展開すると、大量のストレージとコンピューティング要件が発生するため、重大な課題が生じます。
ニューラル ネットワーク プルーニングは、モデルのサイズと複雑さを軽減することでこれらの制限を軽減する効果的な手法として登場しました。
この論文では、情報理論と統計分析に基づいた、活性化統計に基づく直感的で解釈可能な枝刈り手法を紹介します。
私たちのアプローチは、ニューロン活性化の統計的特性を利用して、ニューロン出力への寄与を最小限に抑えた重みを特定して削除します。
具体的には、データセット全体にわたる重み寄与の分布を構築し、そのパラメーターを利用して枝刈りプロセスをガイドします。
さらに、枝刈り手法の有効性を高めるために追加の正則化項を組み込んだ枝刈りを意識したトレーニング戦略を提案します。
複数のデータセットとネットワーク アーキテクチャに関する広範な実験により、私たちの手法がいくつかのベースラインおよび最先端の枝刈り手法よりも一貫して優れていることが実証されました。

要約(オリジナル)

Recent advancements have scaled neural networks to unprecedented sizes, achieving remarkable performance across a wide range of tasks. However, deploying these large-scale models on resource-constrained devices poses significant challenges due to substantial storage and computational requirements. Neural network pruning has emerged as an effective technique to mitigate these limitations by reducing model size and complexity. In this paper, we introduce an intuitive and interpretable pruning method based on activation statistics, rooted in information theory and statistical analysis. Our approach leverages the statistical properties of neuron activations to identify and remove weights with minimal contributions to neuron outputs. Specifically, we build a distribution of weight contributions across the dataset and utilize its parameters to guide the pruning process. Furthermore, we propose a Pruning-aware Training strategy that incorporates an additional regularization term to enhance the effectiveness of our pruning method. Extensive experiments on multiple datasets and network architectures demonstrate that our method consistently outperforms several baseline and state-of-the-art pruning techniques.

arxiv情報

著者 Mostafa Hussien,Mahmoud Afifi,Kim Khoa Nguyen,Mohamed Cheriet
発行日 2024-10-21 16:18:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.NE | Small Contributions, Small Networks: Efficient Neural Network Pruning Based on Relative Importance はコメントを受け付けていません

GenAI Assisting Medical Training

投稿日: 2024年10月22日 作成者: jarxiv

要約

静脈穿刺やカニューレ挿入などの医療処置は看護師にとって不可欠であり、正確なスキルが要求されます。
また、クラスあたりの教師の数とタスクの複雑さにより、このスキルを学習することは教育者にとっての課題となります。
この研究は、静脈穿刺やカニューレ挿入などの医療処置に関するリアルタイムのフィードバックを提供する生成 AI 手法を統合することで、学生のスキル習得を支援し、教育者の負担を軽減することを目的としています。

要約(オリジナル)

Medical procedures such as venipuncture and cannulation are essential for nurses and require precise skills. Learning this skill, in turn, is a challenge for educators due to the number of teachers per class and the complexity of the task. The study aims to help students with skill acquisition and alleviate the educator’s workload by integrating generative AI methods to provide real-time feedback on medical procedures such as venipuncture and cannulation.

arxiv情報

著者 Stefan Fritsch,Matthias Tschoepe,Vitor Fortes Rey,Lars Krupp,Agnes Gruenerbl,Eloise Monger,Sarah Travenna
発行日 2024-10-21 16:31:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | GenAI Assisting Medical Training はコメントを受け付けていません

Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning

投稿日: 2024年10月22日 作成者: jarxiv

要約

深層強化学習 (RL) はハイパーパラメータに非常に敏感であることでよく知られており、目前の問題に合わせてパラメータを最適化するには実践者に多大な努力が必要です。
これにより、現実世界のシナリオにおける RL の適用性も制限されます。
近年、この問題に対処しようとする自動強化学習 (AutoRL) の分野の人気が高まっています。
ただし、これらのアプローチは通常、追加のサンプルに依存してパフォーマンスの高いハイパーパラメータを選択するため、サンプルの効率と実用性が妨げられます。
さらに、ほとんどの AutoRL 手法は既存の AutoML 手法に大きく基づいており、元々はその非定常性による RL 固有の追加の課題を無視して開発されました。
この研究では、Adaptive $Q$-Network (AdaQN) と呼ばれる AutoRL の新しいアプローチを提案します。これは、追加のサンプルを必要とせずに最適化手順の非定常性を考慮するように RL に合わせて調整されています。
AdaQN は、複数の $Q$ 関数を学習します。各関数は異なるハイパーパラメータでトレーニングされ、共有ターゲットとして最小の近似誤差を持つ $Q$ 関数を使用してオンラインで更新されます。
私たちの選択スキームは、RL 最適化手順によって引き起こされる非定常性に対処しながら、批評家ベースの RL アルゴリズムと直交しながら、さまざまなハイパーパラメーターを同時に処理します。
私たちは、AdaQN が理論的に健全であることを実証し、MuJoCo 制御問題と Atari $2600$ ゲームで経験的に検証し、サンプル効率、全体的なパフォーマンス、確率論に対する堅牢性、トレーニングの安定性におけるメリットを示しました。

要約(オリジナル)

Deep Reinforcement Learning (RL) is well known for being highly sensitive to hyperparameters, requiring practitioners substantial efforts to optimize them for the problem at hand. This also limits the applicability of RL in real-world scenarios. In recent years, the field of automated Reinforcement Learning (AutoRL) has grown in popularity by trying to address this issue. However, these approaches typically hinge on additional samples to select well-performing hyperparameters, hindering sample-efficiency and practicality. Furthermore, most AutoRL methods are heavily based on already existing AutoML methods, which were originally developed neglecting the additional challenges inherent to RL due to its non-stationarities. In this work, we propose a new approach for AutoRL, called Adaptive $Q$-Network (AdaQN), that is tailored to RL to take into account the non-stationarity of the optimization procedure without requiring additional samples. AdaQN learns several $Q$-functions, each one trained with different hyperparameters, which are updated online using the $Q$-function with the smallest approximation error as a shared target. Our selection scheme simultaneously handles different hyperparameters while coping with the non-stationarity induced by the RL optimization procedure and being orthogonal to any critic-based RL algorithm. We demonstrate that AdaQN is theoretically sound and empirically validate it in MuJoCo control problems and Atari $2600$ games, showing benefits in sample-efficiency, overall performance, robustness to stochasticity and training stability.

arxiv情報

著者 Théo Vincent,Fabian Wahren,Jan Peters,Boris Belousov,Carlo D’Eramo
発行日 2024-10-21 16:32:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning はコメントを受け付けていません

Learning How to Vote With Principles: Axiomatic Insights Into the Collective Decisions of Neural Networks

投稿日: 2024年10月22日 作成者: jarxiv

要約

集団決定における透明性のニーズを満たしながら、ニューラル ネットワークを投票理論に適用できるでしょうか?
私たちは公理的ディープ投票を提案します。これは、確立された投票理論の公理的方法を使用して、選好を集約するニューラル ネットワークを構築および評価するためのフレームワークです。
私たちの調査結果は次のとおりです: (1) ニューラル ネットワークは、精度が高いにもかかわらず、投票ルールの中核となる公理と一致しないことが多く、結果の模倣と推論との間に乖離があることが明らかになります。
(2) 公理固有のデータを使用したトレーニングでは、それらの公理との整合性は強化されません。
(3) 公理を満たすことのみを最適化することによって、ニューラル ネットワークは、多くの場合、既存の投票ルールを上回り、実質的に異なる新しい投票ルールを合成できます。
これにより、両方の分野に関する洞察が得られます。AI の場合、バイアスや価値観の一致などの重要な概念が数学的に厳密な方法で研究されます。
投票理論に関しては、投票ルールの空間の新しい領域が探求されます。

要約(オリジナル)

Can neural networks be applied in voting theory, while satisfying the need for transparency in collective decisions? We propose axiomatic deep voting: a framework to build and evaluate neural networks that aggregate preferences, using the well-established axiomatic method of voting theory. Our findings are: (1) Neural networks, despite being highly accurate, often fail to align with the core axioms of voting rules, revealing a disconnect between mimicking outcomes and reasoning. (2) Training with axiom-specific data does not enhance alignment with those axioms. (3) By solely optimizing axiom satisfaction, neural networks can synthesize new voting rules that often surpass and substantially differ from existing ones. This offers insights for both fields: For AI, important concepts like bias and value-alignment are studied in a mathematically rigorous way; for voting theory, new areas of the space of voting rules are explored.

arxiv情報

著者 Levin Hornischer,Zoi Terzopoulou
発行日 2024-10-21 16:35:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, I.2.6 | Learning How to Vote With Principles: Axiomatic Insights Into the Collective Decisions of Neural Networks はコメントを受け付けていません

Harmful Fine-tuning Attacks and Defenses for Large Language Models: A Survey

投稿日: 2024年10月22日 作成者: jarxiv

要約

最近の調査によると、サービスとしての微調整の初期段階のビジネス モデルは、安全性に関する重大な懸念を露呈していることが実証されています。ユーザーがアップロードしたいくつかの有害なデータを微調整すると、モデルの安全性の調整が損なわれる可能性があります。
この攻撃は有害な微調整として知られ、コミュニティの間で幅広い研究上の関心を集めています。
ただし、この攻撃はまだ新しいため、 \textbf{私たちの悲惨な投稿経験から、研究コミュニティ内で一般的な誤解があることがわかりました。} 私たちはこの論文で、攻撃設定に関するいくつかの共通の懸念を解消し、研究を正式に確立することを目的としています。
問題。
具体的には、まず問題の脅威モデルを提示し、有害な微調整攻撃とその亜種を紹介します。
次に、問題の攻撃/防御/機械的分析に関する既存の文献を系統的に調査します。
最後に、この分野の発展に貢献する可能性のある将来の研究の方向性を概説します。
さらに、査読プロセスの査読者が実験/攻撃/防御設定の現実性に疑問を抱くときに参照すると役立つ可能性がある、興味深い質問のリストを示します。
関連する論文の厳選されたリストが維持されており、\url{https://github.com/git-disl/awesome_LLM-harmful-fine-tuning-papers} でアクセスできます。

要約(オリジナル)

Recent research demonstrates that the nascent fine-tuning-as-a-service business model exposes serious safety concerns — fine-tuning over a few harmful data uploaded by the users can compromise the safety alignment of the model. The attack, known as harmful fine-tuning, has raised a broad research interest among the community. However, as the attack is still new, \textbf{we observe from our miserable submission experience that there are general misunderstandings within the research community.} We in this paper aim to clear some common concerns for the attack setting, and formally establish the research problem. Specifically, we first present the threat model of the problem, and introduce the harmful fine-tuning attack and its variants. Then we systematically survey the existing literature on attacks/defenses/mechanical analysis of the problem. Finally, we outline future research directions that might contribute to the development of the field. Additionally, we present a list of questions of interest, which might be useful to refer to when reviewers in the peer review process question the realism of the experiment/attack/defense setting. A curated list of relevant papers is maintained and made accessible at: \url{https://github.com/git-disl/awesome_LLM-harmful-fine-tuning-papers}.

arxiv情報

著者 Tiansheng Huang,Sihao Hu,Fatih Ilhan,Selim Furkan Tekin,Ling Liu
発行日 2024-10-21 16:51:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | Harmful Fine-tuning Attacks and Defenses for Large Language Models: A Survey はコメントを受け付けていません