CartesianMoE: Boosting Knowledge Sharing among Experts via Cartesian Product Routing in Mixture-of-Experts

投稿日: 2024年10月23日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、あらゆる種類の下流タスクで優れたパフォーマンスを発揮するため、最近コミュニティから大きな注目を集めています。
よく知られているスケーリングの法則によれば、高密度 LLM をスケールアップすると、その機能が強化されますが、計算の複雑さも大幅に増加します。
Mixture-of-Experts (MoE) モデルは、トレーニングや推論のコストを大幅に増加させることなくモデルのサイズを拡大できるようにすることで、この問題に対処します。
しかし、MoE モデルは専門家間の知識共有に関して課題に直面しており、そのパフォーマンスが何らかの形で配線精度に影響を受けやすくなっています。
これに対処するために、以前の作品では共有エキスパートを導入し、その出力を $K$ ルートの上位エキスパートの出力と「追加」方式で組み合わせました。
この論文では、データ間の共有知識を学習するための集団行列因数分解にヒントを得て、より「掛け算」に近い方法で専門家間のより効果的な知識共有を実装する CartesianMoE を提案します。
広範な実験結果は、CartesianMoE が、複雑さとダウンストリーム タスクのパフォーマンスの両方の点で、LLM を構築するための以前の MoE モデルよりも優れていることを示しています。
また、CartesianMoE がより優れたエキスパート ルーティングの堅牢性を実現していることもわかりました。

要約(オリジナル)

Large language models (LLM) have been attracting much attention from the community recently, due to their remarkable performance in all kinds of downstream tasks. According to the well-known scaling law, scaling up a dense LLM enhances its capabilities, but also significantly increases the computational complexity. Mixture-of-Experts (MoE) models address that by allowing the model size to grow without substantially raising training or inference costs. Yet MoE models face challenges regarding knowledge sharing among experts, making their performance somehow sensitive to routing accuracy. To tackle that, previous works introduced shared experts and combined their outputs with those of the top $K$ routed experts in an “addition” manner. In this paper, inspired by collective matrix factorization to learn shared knowledge among data, we propose CartesianMoE, which implements more effective knowledge sharing among experts in more like a “multiplication” manner. Extensive experimental results indicate that CartesianMoE outperforms previous MoE models for building LLMs, in terms of both perplexity and downstream task performance. And we also find that CartesianMoE achieves better expert routing robustness.

arxiv情報

著者 Zhenpeng Su,Xing Wu,Zijia Lin,Yizhe Xiong,Minxuan Lv,Guangyuan Ma,Hui Chen,Songlin Hu,Guiguang Ding
発行日 2024-10-22 09:37:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | CartesianMoE: Boosting Knowledge Sharing among Experts via Cartesian Product Routing in Mixture-of-Experts はコメントを受け付けていません

Language Model Alignment in Multilingual Trolley Problems

投稿日: 2024年10月23日 作成者: jarxiv

要約

私たちは、多言語トロリー問題における大規模言語モデル (LLM) と人間の好みとの道徳的整合性を評価します。
200 か国以上で 4,000 万を超える人間の判断を収集するモラル マシン実験を基に、私たちは MultiTP と呼ばれる 100 以上の言語で道徳的ジレンマのビネットをまとめたクロスリンガル コーパスを開発しました。
このデータセットにより、多様な言語コンテキストにおける LLM の意思決定プロセスの評価が可能になります。
私たちの分析では、19 の異なる LLM と人間の判断との整合性を調査し、種、性別、フィットネス、ステータス、年齢、関与する命の数という 6 つの道徳的側面にわたる好みを捉えています。
これらの好みを言語話者の人口統計的分布と関連付け、さまざまなプロンプト言い換えに対する LLM の反応の一貫性を調べることにより、私たちの調査結果は、LLM の言語を超えた倫理的バイアスとそれらの交差点についての洞察を提供します。
私たちは、言語間での整合性に大きな差異があることを発見し、AI システムにおける統一的な道徳的推論の仮定に疑問を投げかけ、AI 倫理に多様な視点を組み込むことの重要性を強調しました。
この結果は、世界中で公正かつ公平な AI 相互作用を確保するために、責任ある AI 研究における多言語の側面の統合に関するさらなる研究の必要性を強調しています。
私たちのコードとデータは https://github.com/causalNLP/moralmachine にあります。

要約(オリジナル)

We evaluate the moral alignment of large language models (LLMs) with human preferences in multilingual trolley problems. Building on the Moral Machine experiment, which captures over 40 million human judgments across 200+ countries, we develop a cross-lingual corpus of moral dilemma vignettes in over 100 languages called MultiTP. This dataset enables the assessment of LLMs’ decision-making processes in diverse linguistic contexts. Our analysis explores the alignment of 19 different LLMs with human judgments, capturing preferences across six moral dimensions: species, gender, fitness, status, age, and the number of lives involved. By correlating these preferences with the demographic distribution of language speakers and examining the consistency of LLM responses to various prompt paraphrasings, our findings provide insights into cross-lingual and ethical biases of LLMs and their intersection. We discover significant variance in alignment across languages, challenging the assumption of uniform moral reasoning in AI systems and highlighting the importance of incorporating diverse perspectives in AI ethics. The results underscore the need for further research on the integration of multilingual dimensions in responsible AI research to ensure fair and equitable AI interactions worldwide. Our code and data are at https://github.com/causalNLP/moralmachine

arxiv情報

著者 Zhijing Jin,Max Kleiman-Weiner,Giorgio Piatti,Sydney Levine,Jiarui Liu,Fernando Gonzalez,Francesco Ortu,András Strausz,Mrinmaya Sachan,Rada Mihalcea,Yejin Choi,Bernhard Schölkopf
発行日 2024-10-22 06:48:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Language Model Alignment in Multilingual Trolley Problems はコメントを受け付けていません

On-Device LLMs for SMEs: Challenges and Opportunities

投稿日: 2024年10月23日 作成者: jarxiv

要約

このペーパーでは、ハードウェアとソフトウェアの両方の観点に焦点を当て、中小企業 (SME) のコンテキスト内で大規模言語モデル (LLM) をデバイス上に展開するためのインフラストラクチャ要件を体系的にレビューします。
ハードウェアの観点から、GPU や TPU などのプロセッシング ユニットの利用、効率的なメモリとストレージ ソリューション、効果的な導入戦略について説明し、中小企業環境に特有の限られた計算リソースの課題に対処します。
ソフトウェアの観点から、フレームワークの互換性、オペレーティング システムの最適化、リソースに制約のある環境に合わせた特殊なライブラリの使用について調査します。
このレビューは、まずデバイス上に LLM を導入する際に中小企業が直面する特有の課題を特定し、次にハードウェアの革新とソフトウェアの適応の両方がこれらの障害を克服するために提供する機会を探ることを目的として構成されています。
このような構造化されたレビューは実践的な洞察を提供し、LLM を統合する際の中小企業の技術的回復力を強化することでコミュニティに大きく貢献します。

要約(オリジナル)

This paper presents a systematic review of the infrastructure requirements for deploying Large Language Models (LLMs) on-device within the context of small and medium-sized enterprises (SMEs), focusing on both hardware and software perspectives. From the hardware viewpoint, we discuss the utilization of processing units like GPUs and TPUs, efficient memory and storage solutions, and strategies for effective deployment, addressing the challenges of limited computational resources typical in SME settings. From the software perspective, we explore framework compatibility, operating system optimization, and the use of specialized libraries tailored for resource-constrained environments. The review is structured to first identify the unique challenges faced by SMEs in deploying LLMs on-device, followed by an exploration of the opportunities that both hardware innovations and software adaptations offer to overcome these obstacles. Such a structured review provides practical insights, contributing significantly to the community by enhancing the technological resilience of SMEs in integrating LLMs.

arxiv情報

著者 Jeremy Stephen Gabriel Yee,Pai Chet Ng,Zhengkui Wang,Ian McLoughlin,Aik Beng Ng,Simon See
発行日 2024-10-22 13:40:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T07, cs.AI, cs.CL, I.2 | On-Device LLMs for SMEs: Challenges and Opportunities はコメントを受け付けていません

Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance

投稿日: 2024年10月23日 作成者: jarxiv

要約

マルチモーダル大規模言語モデル (MLLM) は、幅広い領域にわたる視覚言語タスクにおいて優れたパフォーマンスを実証しています。
ただし、モデルの規模が大きく、それに伴う計算コストが高いため、消費者グレードの GPU やエッジ デバイスで MLLM をトレーニングおよび展開する場合に大きな課題が生じ、その広範なアプリケーションが妨げられています。
この作業では、1B から 4B までのパラメータを持つ一連の MLLM である Mini-InternVL を紹介します。これは、わずか 5% のパラメータで 90% のパフォーマンスを達成します。
この効率と有効性の大幅な向上により、モデルがよりアクセスしやすくなり、現実世界のさまざまなシナリオに適用できるようになります。
当社モデルの導入をさらに促進するために、当社は Mini-InternVL 用の統合適応フレームワークを開発します。これにより、当社のモデルは、自動運転、医療画像、リモート センシングなどの下流タスクで特殊なモデルを転送し、それを上回るパフォーマンスを発揮できるようになります。
私たちは、この研究が効率的かつ効果的な MLLM の開発を進めるための貴重な洞察とリソースを提供できると信じています。
コードは https://github.com/OpenGVLab/InternVL で入手できます。

要約(オリジナル)

Multimodal large language models (MLLMs) have demonstrated impressive performance in vision-language tasks across a broad spectrum of domains. However, the large model scale and associated high computational costs pose significant challenges for training and deploying MLLMs on consumer-grade GPUs or edge devices, thereby hindering their widespread application. In this work, we introduce Mini-InternVL, a series of MLLMs with parameters ranging from 1B to 4B, which achieves 90% of the performance with only 5% of the parameters. This significant improvement in efficiency and effectiveness makes our models more accessible and applicable in various real-world scenarios. To further promote the adoption of our models, we develop a unified adaptation framework for Mini-InternVL, which enables our models to transfer and outperform specialized models in downstream tasks, including autonomous driving, medical images, and remote sensing. We believe that our study can provide valuable insights and resources to advance the development of efficient and effective MLLMs. Code is available at https://github.com/OpenGVLab/InternVL.

arxiv情報

著者 Zhangwei Gao,Zhe Chen,Erfei Cui,Yiming Ren,Weiyun Wang,Jinguo Zhu,Hao Tian,Shenglong Ye,Junjun He,Xizhou Zhu,Lewei Lu,Tong Lu,Yu Qiao,Jifeng Dai,Wenhai Wang
発行日 2024-10-22 08:09:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance はコメントを受け付けていません

LASER: Script Execution by Autonomous Agents for On-demand Traffic Simulation

投稿日: 2024年10月23日 作成者: jarxiv

要約

自動運転システム (ADS) では、効果的なトレーニングとテストのために安全性が重要な多様な交通シナリオが必要ですが、既存のデータ生成方法では柔軟性と拡張性を提供するのが困難です。
私たちは、大規模言語モデル (LLM) を利用して自然言語入力に基づいて交通シミュレーションを実行する新しいフレームワークである LASER を提案します。
このフレームワークは 2 つの段階で動作します。最初にユーザーが提供した記述からスクリプトを生成し、次に自律エージェントを使用してリアルタイムでスクリプトを実行します。
CARLA シミュレーターで検証された LASER は、複雑なオンデマンド運転シナリオの生成に成功し、ADS トレーニングとテスト データ生成を大幅に改善しました。

要約(オリジナル)

Autonomous Driving Systems (ADS) require diverse and safety-critical traffic scenarios for effective training and testing, but the existing data generation methods struggle to provide flexibility and scalability. We propose LASER, a novel frame-work that leverage large language models (LLMs) to conduct traffic simulations based on natural language inputs. The framework operates in two stages: it first generates scripts from user-provided descriptions and then executes them using autonomous agents in real time. Validated in the CARLA simulator, LASER successfully generates complex, on-demand driving scenarios, significantly improving ADS training and testing data generation.

arxiv情報

著者 Hao Gao,Jingyue Wang,Wenyang Fang,Jingwei Xu,Yunpeng Huang,Taolue Chen,Xiaoxing Ma
発行日 2024-10-22 07:14:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.MA, cs.RO | LASER: Script Execution by Autonomous Agents for On-demand Traffic Simulation はコメントを受け付けていません

Warped Diffusion: Solving Video Inverse Problems with Image Diffusion Models

投稿日: 2024年10月23日 作成者: jarxiv

要約

逆ビデオ問題を解決するために画像モデルを単純に使用すると、生成されたビデオのちらつき、テクスチャの固着、および時間的不一致が発生することがよくあります。
これらの問題に取り組むために、この論文では、フレームを 2D 空間の連続関数と見なし、ビデオを異なるフレーム間の一連の連続ワーピング変換と見なします。
この観点により、関数空間拡散モデルを画像上でのみトレーニングし、それらを利用して時間的に相関する逆問題を解決することができます。
関数空間拡散モデルは、基礎となる空間変換に関して等変である必要があります。
時間的な一貫性を確保するために、(自己) 等変ソリューションに向けた単純な事後テスト時のガイダンスを導入します。
私たちの方法では、Stable Diffusion XL などの最先端の潜在拡散モデルを導入してビデオ逆問題を解決できます。
私たちは、ビデオ修復と $8\times$ のビデオ超解像度に対する私たちの手法の有効性を実証し、ノイズ変換に基づく既存の手法を上回ります。
生成されたビデオ結果は https://giannisdaras.github.io/warped_diffusion.github.io/ から提供されます。

要約(オリジナル)

Using image models naively for solving inverse video problems often suffers from flickering, texture-sticking, and temporal inconsistency in generated videos. To tackle these problems, in this paper, we view frames as continuous functions in the 2D space, and videos as a sequence of continuous warping transformations between different frames. This perspective allows us to train function space diffusion models only on images and utilize them to solve temporally correlated inverse problems. The function space diffusion models need to be equivariant with respect to the underlying spatial transformations. To ensure temporal consistency, we introduce a simple post-hoc test-time guidance towards (self)-equivariant solutions. Our method allows us to deploy state-of-the-art latent diffusion models such as Stable Diffusion XL to solve video inverse problems. We demonstrate the effectiveness of our method for video inpainting and $8\times$ video super-resolution, outperforming existing techniques based on noise transformations. We provide generated video results: https://giannisdaras.github.io/warped_diffusion.github.io/.

arxiv情報

著者 Giannis Daras,Weili Nie,Karsten Kreis,Alex Dimakis,Morteza Mardani,Nikola Borislavov Kovachki,Arash Vahdat
発行日 2024-10-22 03:37:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG | Warped Diffusion: Solving Video Inverse Problems with Image Diffusion Models はコメントを受け付けていません

MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模言語モデル (LLM) に基づくエージェントの社会を通じて、自動化された問題解決に関して目覚ましい進歩が見られました。
既存の LLM ベースのマルチエージェント システムは、単純な対話タスクをすでに解決できます。
ただし、より複雑なタスクの解決策は、単純に連鎖する LLM によって引き起こされるカスケード幻覚による論理の不一致により複雑になります。
ここでは、LLM ベースのマルチエージェント コラボレーションに効率的なヒューマン ワークフローを組み込んだ革新的なメタプログラミング フレームワークである MetaGPT を紹介します。
MetaGPT は、標準化操作手順 (SOP) をプロンプト シーケンスにエンコードして、より合理化されたワークフローを実現するため、人間のような専門知識を持つエージェントが中間結果を検証してエラーを削減できるようにします。
MetaGPT は組立ライン パラダイムを利用して、さまざまなエージェントに多様な役割を割り当て、複雑なタスクを多くのエージェントが連携するサブタスクに効率的に分割します。
協調的なソフトウェア エンジニアリングのベンチマークでは、MetaGPT は以前のチャットベースのマルチエージェント システムよりも一貫したソリューションを生成します。
私たちのプロジェクトは https://github.com/geekan/MetaGPT にあります。

要約(オリジナル)

Remarkable progress has been made on automated problem solving through societies of agents based on large language models (LLMs). Existing LLM-based multi-agent systems can already solve simple dialogue tasks. Solutions to more complex tasks, however, are complicated through logic inconsistencies due to cascading hallucinations caused by naively chaining LLMs. Here we introduce MetaGPT, an innovative meta-programming framework incorporating efficient human workflows into LLM-based multi-agent collaborations. MetaGPT encodes Standardized Operating Procedures (SOPs) into prompt sequences for more streamlined workflows, thus allowing agents with human-like domain expertise to verify intermediate results and reduce errors. MetaGPT utilizes an assembly line paradigm to assign diverse roles to various agents, efficiently breaking down complex tasks into subtasks involving many agents working together. On collaborative software engineering benchmarks, MetaGPT generates more coherent solutions than previous chat-based multi-agent systems. Our project can be found at https://github.com/geekan/MetaGPT

arxiv情報

著者 Sirui Hong,Mingchen Zhuge,Jonathan Chen,Xiawu Zheng,Yuheng Cheng,Ceyao Zhang,Jinlin Wang,Zili Wang,Steven Ka Shing Yau,Zijuan Lin,Liyang Zhou,Chenyu Ran,Lingfeng Xiao,Chenglin Wu,Jürgen Schmidhuber
発行日 2024-10-21 17:22:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.MA | MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework はコメントを受け付けていません

SLLEN: Semantic-aware Low-light Image Enhancement Network

投稿日: 2024年10月22日 作成者: jarxiv

要約

セマンティック特徴を効果的に探索する方法は、低照度画像強調 (LLE) にとって不可欠です。
既存の方法は通常、高レベルのセマンティック セグメンテーション (SS) ネットワークによって生成された出力からのみ抽出されるセマンティック機能を利用します。
ただし、出力が正確に推定されない場合は、高レベル セマンティック特徴 (HSF) 抽出に影響し、LLE に干渉します。
この目的を達成するために、LLE メイン ネットワーク (LLEmN) と SS 補助ネットワーク (SSaN) で構成されるシンプルで効果的なセマンティック認識 LLE ネットワーク (SSLEN) を開発します。
SLLEN では、LLEmN は、ランダム中間埋め込み機能 (IEF)、つまり SSaN の中間層から抽出された情報を、HSF とともに、より良い LLE を実現するための統一フレームワークに統合します。
SSaN は、HSF と IEF を提供する SS の役割として機能するように設計されています。
さらに、LLEmN と SSaN 間の共有エンコーダのおかげで、それらの間のコラボレーションを促進する交互トレーニング メカニズムをさらに提案します。
現在利用可能なアプローチとは異なり、提案された SLLEN は、IEF、HSF、SS データセットなどのセマンティック情報を完全に活用して LLE を支援することができ、それによってより有望な拡張パフォーマンスにつながります。
提案された SLLEN と他の最先端の技術を比較すると、LLE の品質に関して、同等のすべての代替技術よりも SLLEN が優れていることがわかります。

要約(オリジナル)

How to effectively explore semantic feature is vital for low-light image enhancement (LLE). Existing methods usually utilize the semantic feature that is only drawn from the output produced by high-level semantic segmentation (SS) network. However, if the output is not accurately estimated, it would affect the high-level semantic feature (HSF) extraction, which accordingly interferes with LLE. To this end, we develop a simple and effective semantic-aware LLE network (SSLEN) composed of a LLE main-network (LLEmN) and a SS auxiliary-network (SSaN). In SLLEN, LLEmN integrates the random intermediate embedding feature (IEF), i.e., the information extracted from the intermediate layer of SSaN, together with the HSF into a unified framework for better LLE. SSaN is designed to act as a SS role to provide HSF and IEF. Moreover, thanks to a shared encoder between LLEmN and SSaN, we further propose an alternating training mechanism to facilitate the collaboration between them. Unlike currently available approaches, the proposed SLLEN is able to fully lever the semantic information, e.g., IEF, HSF, and SS dataset, to assist LLE, thereby leading to a more promising enhancement performance. Comparisons between the proposed SLLEN and other state-of-the-art techniques demonstrate the superiority of SLLEN with respect to LLE quality over all the comparable alternatives.

arxiv情報

著者 Mingye Ju,Chuheng Chen,Charles A. Guo,Jinshan Pan,Jinhui Tang,Dacheng Tao
発行日 2024-10-21 13:12:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV | SLLEN: Semantic-aware Low-light Image Enhancement Network はコメントを受け付けていません

TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks

投稿日: 2024年10月22日 作成者: jarxiv

要約

表形式の分類は従来、最初からのトレーニングに依存していましたが、事前データ適合ネットワーク (PFN) と呼ばれる最近の画期的な進歩により、このアプローチに挑戦が生まれました。
大規模な言語モデルと同様に、PFN は事前トレーニングとコンテキスト内学習を利用して、単一の前方パスで新しいタスクで優れたパフォーマンスを達成します。
ただし、現在の PFN には、広範な採用を妨げる制限があります。
特に、TabPFN は小さな表形式のデータセットで非常に優れたパフォーマンスを実現しますが、1000 を超えるサイズのデータ​​セットを予測するように設計されていません。この作業では、これらの制限を克服し、コンテキストの最適化によって PFN のパフォーマンスを大幅に向上させます。
大規模なデータセットをより小さな学習済みコンテキストに圧縮する、PFN 向けのパラメーター効率の高い微調整戦略である TuneTables を紹介します。
私たちは 98 のデータセットにわたる 19 のアルゴリズムで広範な実験を行った結果、TuneTables が平均して最高のパフォーマンスを達成し、TabPFN のパラメーターの 5% 未満を最適化しながら、CatBoost などのブーストされたツリーを上回っていることがわかりました。
さらに、TuneTables が解釈可能性ツールとして使用でき、公平性の目標を最適化することでバイアスを軽減するためにも使用できることを示します。
コードと生の結果は https://github.com/penfever/TuneTables でオープンソース化されています。

要約(オリジナル)

While tabular classification has traditionally relied on from-scratch training, a recent breakthrough called prior-data fitted networks (PFNs) challenges this approach. Similar to large language models, PFNs make use of pretraining and in-context learning to achieve strong performance on new tasks in a single forward pass. However, current PFNs have limitations that prohibit their widespread adoption. Notably, TabPFN achieves very strong performance on small tabular datasets but is not designed to make predictions for datasets of size larger than 1000. In this work, we overcome these limitations and substantially improve the performance of PFNs via context optimization. We introduce TuneTables, a parameter-efficient fine-tuning strategy for PFNs that compresses large datasets into a smaller learned context. We conduct extensive experiments on 19 algorithms over 98 datasets and find that TuneTables achieves the best performance on average, outperforming boosted trees such as CatBoost, while optimizing fewer than 5% of TabPFN’s parameters. Furthermore, we show that TuneTables can be used as an interpretability tool and can even be used to mitigate biases by optimizing a fairness objective. We open-source our code and raw results at https://github.com/penfever/TuneTables.

arxiv情報

著者 Benjamin Feuer,Robin Tibor Schirrmeister,Valeriia Cherepanova,Chinmay Hegde,Frank Hutter,Micah Goldblum,Niv Cohen,Colin White
発行日 2024-10-21 16:48:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | TuneTables: Context Optimization for Scalable Prior-Data Fitted Networks はコメントを受け付けていません

Impact of Dataset Properties on Membership Inference Vulnerability of Deep Transfer Learning

投稿日: 2024年10月22日 作成者: jarxiv

要約

微調整されたニューラル ネットワークに 2 つの最先端のメンバーシップ推論攻撃 (MIA) を適用する際に、プライバシーの脆弱性とデータセットのプロパティ (クラスごとの例やクラス数など) との関係を分析します。
シャドウ モデルから計算されたスコア分布と統計の観点から、例ごとの MIA 脆弱性を導き出します。
メンバーシップ推論の簡略化されたモデルを導入し、このモデルでは、真陽性率と偽陽性率の差の対数がクラスごとの例の数の対数に線形に依存することを証明します。
私たちは、微調整された大規模画像分類モデルの実際的なプライバシー脆弱性を系統的にテストすることにより、理論的分析を実証的分析で補完し、データ内のクラスごとの例の数と MIA 脆弱性の間で以前に導出されたべき乗則依存性を取得します。
低い偽陽性率での攻撃の陽性率。
最後に、以前に導出した形式のパラメトリック モデルを適合させて、データセットのプロパティに基づいて真陽性率を予測し、目に見えない微調整シナリオで MIA の脆弱性が適切に適合していることを観察します。

要約(オリジナル)

We analyse the relationship between privacy vulnerability and dataset properties, such as examples per class and number of classes, when applying two state-of-the-art membership inference attacks (MIAs) to fine-tuned neural networks. We derive per-example MIA vulnerability in terms of score distributions and statistics computed from shadow models. We introduce a simplified model of membership inference and prove that in this model, the logarithm of the difference of true and false positive rates depends linearly on the logarithm of the number of examples per class. We complement the theoretical analysis with empirical analysis by systematically testing the practical privacy vulnerability of fine-tuning large image classification models and obtain the previously derived power law dependence between the number of examples per class in the data and the MIA vulnerability, as measured by true positive rate of the attack at a low false positive rate. Finally, we fit a parametric model of the previously derived form to predict true positive rate based on dataset properties and observe good fit for MIA vulnerability on unseen fine-tuning scenarios.

arxiv情報

著者 Marlon Tobaben,Hibiki Ito,Joonas Jälkö,Gauri Pradhan,Yuan He,Antti Honkela
発行日 2024-10-21 17:19:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Impact of Dataset Properties on Membership Inference Vulnerability of Deep Transfer Learning はコメントを受け付けていません