G-Designer: Architecting Multi-agent Communication Topologies via Graph Neural Networks

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) ベースのエージェントの最近の進歩により、主に巧妙に作成されたエージェント間通信トポロジーにより、集合知が個々のエージェントの能力を大幅に上回ることが実証されました。
多様で高性能な設計が利用可能であるにもかかわらず、実務者は、特定のタスクに最も効果的なパイプラインを選択する際に混乱に直面することがよくあります。 \textit{高品質のソリューションを確保しながら不要な通信トークンのオーバーヘッドを回避するには、どのトポロジが自分のタスクに最適な選択ですか?
このジレンマに対応するために、マルチエージェント導入のための適応的で効率的かつ堅牢なソリューションである G-Designer を導入します。これは、タスクを認識してカスタマイズされた通信トポロジを動的に設計します。
具体的には、G-Designer は、変分グラフ自動エンコーダを利用してノード (エージェント) とタスク固有の仮想ノードの両方をエンコードし、タスク適応型および高度な仮想ノードをデコードして、マルチエージェント システムをマルチエージェント ネットワークとしてモデル化します。
通信トポロジを実行します。
6 つのベンチマークに関する広範な実験により、G-Designer が \textbf{(1) 高性能}であることが実証され、MMLU では $84.50\%$ の精度で、HumanEval では $89.90\%$ の pass@1 で優れた結果を達成しました。
\textbf{(2) タスク適応型}、タスクの難易度に合わせた通信プロトコルを設計し、HumanEval でのトークン消費量を最大 $95.33\%$ 削減します。
\textbf{(3) 敵対的堅牢性}、わずか $0.3\%$ の精度低下でエージェントの敵対的攻撃を防御します。

要約(オリジナル)

Recent advancements in large language model (LLM)-based agents have demonstrated that collective intelligence can significantly surpass the capabilities of individual agents, primarily due to well-crafted inter-agent communication topologies. Despite the diverse and high-performing designs available, practitioners often face confusion when selecting the most effective pipeline for their specific task: \textit{Which topology is the best choice for my task, avoiding unnecessary communication token overhead while ensuring high-quality solution?} In response to this dilemma, we introduce G-Designer, an adaptive, efficient, and robust solution for multi-agent deployment, which dynamically designs task-aware, customized communication topologies. Specifically, G-Designer models the multi-agent system as a multi-agent network, leveraging a variational graph auto-encoder to encode both the nodes (agents) and a task-specific virtual node, and decodes a task-adaptive and high-performing communication topology. Extensive experiments on six benchmarks showcase that G-Designer is: \textbf{(1) high-performing}, achieving superior results on MMLU with accuracy at $84.50\%$ and on HumanEval with pass@1 at $89.90\%$; \textbf{(2) task-adaptive}, architecting communication protocols tailored to task difficulty, reducing token consumption by up to $95.33\%$ on HumanEval; and \textbf{(3) adversarially robust}, defending against agent adversarial attacks with merely $0.3\%$ accuracy drop.

arxiv情報

著者 Guibin Zhang,Yanwei Yue,Xiangguo Sun,Guancheng Wan,Miao Yu,Junfeng Fang,Kun Wang,Dawei Cheng
発行日 2024-10-15 17:01:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.MA | G-Designer: Architecting Multi-agent Communication Topologies via Graph Neural Networks はコメントを受け付けていません

Prompt a Robot to Walk with Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

インターネット規模の膨大なデータで事前トレーニングされた大規模言語モデル (LLM) は、さまざまなドメインにわたって優れた機能を実証してきました。
最近、現実世界の設定で基礎モデルの力を活用することを目的として、ロボット工学に LLM を導入することへの関心が高まっています。
ただし、このアプローチは、特にこれらのモデルを物理世界に固定し、動的なロボットの動きを生成する際に、重大な課題に直面しています。
これらの問題に対処するために、物理環境から収集された数ショット プロンプトを使用する新しいパラダイムを導入し、LLM がタスク固有の微調整を行わずにロボット向けの低レベルの制御コマンドを自己回帰的に生成できるようにします。
さまざまなロボットと環境での実験により、私たちの方法がロボットに効果的に歩行を促すことができることが検証されました。
このようにして、LLM が高次元のロボット システムであっても、動的モーション制御のための低レベルのフィードバック コントローラーとしてどのように適切に機能できるかを説明します。
プロジェクトの Web サイトとソース コードは https://prompt2walk.github.io/ にあります。

要約(オリジナル)

Large language models (LLMs) pre-trained on vast internet-scale data have showcased remarkable capabilities across diverse domains. Recently, there has been escalating interest in deploying LLMs for robotics, aiming to harness the power of foundation models in real-world settings. However, this approach faces significant challenges, particularly in grounding these models in the physical world and in generating dynamic robot motions. To address these issues, we introduce a novel paradigm in which we use few-shot prompts collected from the physical environment, enabling the LLM to autoregressively generate low-level control commands for robots without task-specific fine-tuning. Experiments across various robots and environments validate that our method can effectively prompt a robot to walk. We thus illustrate how LLMs can proficiently function as low-level feedback controllers for dynamic motion control even in high-dimensional robotic systems. The project website and source code can be found at: https://prompt2walk.github.io/ .

arxiv情報

著者 Yen-Jen Wang,Bike Zhang,Jianyu Chen,Koushil Sreenath
発行日 2024-10-15 17:04:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY | Prompt a Robot to Walk with Large Language Models はコメントを受け付けていません

Socialized Learning: A Survey of the Paradigm Shift for Edge Intelligence in Networked Systems

投稿日: 2024年10月16日 作成者: jarxiv

要約

人工知能 (AI) とビッグデータによる強力な推進力の中で、エッジ インテリジェンス (EI) は初期のコンピューティング パラダイムとして台頭しており、AI とエッジ コンピューティング (EC) を統合して、AI サービスの可能性を最大限に引き出す模範的なソリューションとなっています。
それにもかかわらず、通信コスト、リソース割り当て、プライバシー、セキュリティに関する課題により、さまざまな要件を持つサービスをサポートする能力が制限され続けています。
これらの問題に対応して、本稿では、EI の進歩をさらに推進する有望な解決策として社会化学習 (SL) を紹介します。
SL は社会原則と行動を前提とした学習パラダイムであり、EI システム内のエージェントの協力能力と集合知を増幅することを目的としています。
SL は、システムの適応性を強化するだけでなく、多様なデバイスやプラットフォームにわたる分散インテリジェンスに不可欠な通信およびネットワーキング プロセスを最適化します。
したがって、SL と EI を組み合わせることで、将来のネットワークにおける協調的なインテリジェンスの開発が大幅に促進される可能性があります。
この論文は、EI と SL の統合に関する文献レビューの結果を示し、EI と SL に関する既存の研究の最新の成果を要約します。
続いて、EI の制限と、EI が SL からどのようにメリットを得られるかを包括的に掘り下げます。
これらのシステム内の通信の課題やネットワーク戦略、その他の側面に特に重点が置かれており、システム効率の向上における最適化されたネットワーク ソリューションの役割が強調されています。
これらの議論に基づいて、社会化されたアーキテクチャ、社会化されたトレーニング、および社会化された推論という 3 つの統合コンポーネントについて詳しく説明し、それぞれの長所と短所を分析します。
最後に、SL と EI を組み合わせた将来の応用例をいくつか特定し、未解決の問題について議論し、将来の研究を提案します。

要約(オリジナル)

Amidst the robust impetus from artificial intelligence (AI) and big data, edge intelligence (EI) has emerged as a nascent computing paradigm, synthesizing AI with edge computing (EC) to become an exemplary solution for unleashing the full potential of AI services. Nonetheless, challenges in communication costs, resource allocation, privacy, and security continue to constrain its proficiency in supporting services with diverse requirements. In response to these issues, this paper introduces socialized learning (SL) as a promising solution, further propelling the advancement of EI. SL is a learning paradigm predicated on social principles and behaviors, aimed at amplifying the collaborative capacity and collective intelligence of agents within the EI system. SL not only enhances the system’s adaptability but also optimizes communication, and networking processes, essential for distributed intelligence across diverse devices and platforms. Therefore, a combination of SL and EI may greatly facilitate the development of collaborative intelligence in the future network. This paper presents the findings of a literature review on the integration of EI and SL, summarizing the latest achievements in existing research on EI and SL. Subsequently, we delve comprehensively into the limitations of EI and how it could benefit from SL. Special emphasis is placed on the communication challenges and networking strategies and other aspects within these systems, underlining the role of optimized network solutions in improving system efficiency. Based on these discussions, we elaborate in detail on three integrated components: socialized architecture, socialized training, and socialized inference, analyzing their strengths and weaknesses. Finally, we identify some possible future applications of combining SL and EI, discuss open problems and suggest some future research.

arxiv情報

著者 Xiaofei Wang,Yunfeng Zhao,Chao Qiu,Qinghua Hu,Victor C. M. Leung
発行日 2024-10-15 17:04:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NI | Socialized Learning: A Survey of the Paradigm Shift for Edge Intelligence in Networked Systems はコメントを受け付けていません

FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting

投稿日: 2024年10月16日 作成者: jarxiv

要約

時系列予測 (TSF) は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能です。
最近 TSF 手法が登場していますが、その多くはドメイン固有のデータ収集とモデルのトレーニングを必要とし、新しいドメインでの汎化パフォーマンスの低下に苦労しています。
Foundation モデルは、この制限を克服することを目的としています。
大規模な言語データや時系列データで事前トレーニングされているため、新しいデータやまだ見たことのないデータに対して有望な推論機能を発揮します。
これにより、新しい TSF 基盤モデルの急増に拍車がかかりました。
このようなモデルを徹底的かつ公平に評価・比較できるようにするための新しいベンチマークFoundTSを提案します。
FoundTS は、大規模な言語モデルに基づくモデルや時系列で事前トレーニングされたモデルなど、さまざまな TSF 基礎モデルをカバーしています。
次に、FoundTS は、ゼロショット、少数ショット、フルショットなどのさまざまな予測戦略をサポートしているため、より徹底的な評価が容易になります。
最後に、FoundTS は、データセットの分割、読み込み、正規化、少数ショット サンプリングなどの評価プロセスを標準化するパイプラインを提供し、それによって公平な評価を促進します。
これに基づいて、さまざまなドメインからのさまざまな統計的特性を持つ広範囲のデータセットに対する TSF 基礎モデルの広範な評価について報告します。
具体的には、既存の基礎モデルの長所と短所、および固有の制限を特定し、将来のモデル設計の方向性を特定します。
コードとデータセットは https://anonymous.4open.science/r/FoundTS-C2B0 で公開しています。

要約(オリジナル)

Time Series Forecasting (TSF) is key functionality in numerous fields, including in finance, weather services, and energy management. While TSF methods are emerging these days, many of them require domain-specific data collection and model training and struggle with poor generalization performance on new domains. Foundation models aim to overcome this limitation. Pre-trained on large-scale language or time series data, they exhibit promising inferencing capabilities in new or unseen data. This has spurred a surge in new TSF foundation models. We propose a new benchmark, FoundTS, to enable thorough and fair evaluation and comparison of such models. FoundTS covers a variety of TSF foundation models, including those based on large language models and those pretrained on time series. Next, FoundTS supports different forecasting strategies, including zero-shot, few-shot, and full-shot, thereby facilitating more thorough evaluations. Finally, FoundTS offers a pipeline that standardizes evaluation processes such as dataset splitting, loading, normalization, and few-shot sampling, thereby facilitating fair evaluations. Building on this, we report on an extensive evaluation of TSF foundation models on a broad range of datasets from diverse domains and with different statistical characteristics. Specifically, we identify pros and cons and inherent limitations of existing foundation models, and we identify directions for future model design. We make our code and datasets available at https://anonymous.4open.science/r/FoundTS-C2B0.

arxiv情報

著者 Zhe Li,Xiangfei Qiu,Peng Chen,Yihang Wang,Hanyin Cheng,Yang Shu,Jilin Hu,Chenjuan Guo,Aoying Zhou,Qingsong Wen,Christian S. Jensen,Bin Yang
発行日 2024-10-15 17:23:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting はコメントを受け付けていません

Curriculum effects and compositionality emerge with in-context learning in neural networks

投稿日: 2024年10月16日 作成者: jarxiv

要約

人間の学習には、驚くべき二重性が体現されています。私たちは、論理的で構成的なルールに従い、構造化されたカリキュラム（たとえば、正式な教育）の恩恵を受けることができるように見えることもありますが、一方で、より良い学習を目指して段階的なアプローチや試行錯誤に依存していることもあります。
構造化されていない、またはランダムに組み込まれたカリキュラムから。
影響力のある心理学理論は、2 つの質的に異なる学習システム (1 つは迅速なルールベースの推論、もう 1 つはゆっくりとした段階的な適応) を仮定することで、この一見異質な行動証拠を説明しています。
このような理論とニューラル ネットワークをどのように調和させるかは依然として不明です。ニューラル ネットワークは増分重み更新を介して学習するため、後者のタイプの学習の自然なモデルですが、前者とは明らかに互換性がありません。
しかし、最近の証拠は、メタルラーニング ニューラル ネットワークと大規模言語モデルの両方が「インコンテキスト学習」(ICL)、つまり推論時に与えられたいくつかの例から新しいタスクの構造を柔軟に把握する能力を備えていることを示唆しています。
ここでは、ICL が可能なネットワークが、ルールに支配されたタスクで人間のような学習と構成的行動を再現できると同時に、ルールに似た構造を持たないタスクでは通常の重み内学習 (IWL) を介して人間の行動現象を再現できることを示します。
。
私たちの研究は、創発的な ICL がニューラル ネットワークに従来の学習特性とは根本的に異なる学習特性をどのように備えさせることができるか、またこれらの学習特性がネイティブ IWL の特性と共存できることを示し、それによって二重プロセス理論と人間の認知の柔軟性に関する新しい視点を提供します。

要約(オリジナル)

Human learning embodies a striking duality: sometimes, we appear capable of following logical, compositional rules and benefit from structured curricula (e.g., in formal education), while other times, we rely on an incremental approach or trial-and-error, learning better from curricula that are unstructured or randomly interleaved. Influential psychological theories explain this seemingly disparate behavioral evidence by positing two qualitatively different learning systems — one for rapid, rule-based inferences and another for slow, incremental adaptation. It remains unclear how to reconcile such theories with neural networks, which learn via incremental weight updates and are thus a natural model for the latter type of learning, but are not obviously compatible with the former. However, recent evidence suggests that both metalearning neural networks and large language models are capable of ‘in-context learning’ (ICL) — the ability to flexibly grasp the structure of a new task from a few examples given at inference time. Here, we show that networks capable of ICL can reproduce human-like learning and compositional behavior on rule-governed tasks, while at the same time replicating human behavioral phenomena in tasks lacking rule-like structure via their usual in-weight learning (IWL). Our work shows how emergent ICL can equip neural networks with fundamentally different learning properties than those traditionally attributed to them, and that these can coexist with the properties of their native IWL, thus offering a novel perspective on dual-process theories and human cognitive flexibility.

arxiv情報

著者 Jacob Russin,Ellie Pavlick,Michael J. Frank
発行日 2024-10-15 17:29:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NE, q-bio.NC | Curriculum effects and compositionality emerge with in-context learning in neural networks はコメントを受け付けていません

Regional Ocean Forecasting with Hierarchical Graph Neural Networks

投稿日: 2024年10月16日 作成者: jarxiv

要約

正確な海洋予測システムは、環境管理や気候適応戦略において重要な役割を果たす海洋動態を理解するために不可欠です。
従来の数値ソルバーは効果的ではありますが、計算コストと時間がかかります。
機械学習の最近の進歩は天気予報に革命をもたらし、高速でエネルギー効率の高い代替手段を提供します。
これらの進歩に基づいて、高解像度、中距離の海洋予測用に設計されたニューラル ネットワークである SeaCast を紹介します。
SeaCast は、グラフベースのフレームワークを採用して海洋グリッドの複雑な形状を効果的に処理し、地域の海洋状況に合わせた外部強制データを統合します。
私たちのアプローチは、コペルニクス海洋サービスが提供する地中海の運用数値モデルと、数値およびデータ駆動型の大気強制力の両方を使用した、高空間解像度での実験を通じて検証されます。

要約(オリジナル)

Accurate ocean forecasting systems are vital for understanding marine dynamics, which play a crucial role in environmental management and climate adaptation strategies. Traditional numerical solvers, while effective, are computationally expensive and time-consuming. Recent advancements in machine learning have revolutionized weather forecasting, offering fast and energy-efficient alternatives. Building on these advancements, we introduce SeaCast, a neural network designed for high-resolution, medium-range ocean forecasting. SeaCast employs a graph-based framework to effectively handle the complex geometry of ocean grids and integrates external forcing data tailored to the regional ocean context. Our approach is validated through experiments at a high spatial resolution using the operational numerical model of the Mediterranean Sea provided by the Copernicus Marine Service, along with both numerical and data-driven atmospheric forcings.

arxiv情報

著者 Daniel Holmberg,Emanuela Clementi,Teemu Roos
発行日 2024-10-15 17:34:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph | Regional Ocean Forecasting with Hierarchical Graph Neural Networks はコメントを受け付けていません

A Novel Gaussian Min-Max Theorem and its Applications

投稿日: 2024年10月16日 作成者: jarxiv

要約

ゴードンによる有名な結果により、特定の不等式条件が満たされた場合に 2 つのガウス過程の最小-最大動作を比較できるようになります。
この結果の結果には、高次元統計、機械学習、非滑らかな最適化、および信号処理に広範な影響を及ぼしたガウス最小最大 (GMT) および凸ガウス最小最大 (CGMT) 定理が含まれます。
どちらの定理も、Slepian によって最初に特定された、ゴードンの比較不等式を満たす 1 対のガウス過程に依存しています。
この論文では、そのような新しいペアを特定します。
結果として得られる定理は、古典的な GMT 定理と CGMT 定理を、一次プロセスの基礎となるガウス行列に iid 行がある場合から、独立しているが同一に分布していない行がある場合まで拡張します。
新しい CGMT は、一般的な混合ガウス モデルの二値分類だけでなく、複数ソースのガウス回帰の問題にも適用されます。

要約(オリジナル)

A celebrated result by Gordon allows one to compare the min-max behavior of two Gaussian processes if certain inequality conditions are met. The consequences of this result include the Gaussian min-max (GMT) and convex Gaussian min-max (CGMT) theorems which have had far-reaching implications in high-dimensional statistics, machine learning, non-smooth optimization, and signal processing. Both theorems rely on a pair of Gaussian processes, first identified by Slepian, that satisfy Gordon’s comparison inequalities. In this paper, we identify such a new pair. The resulting theorems extend the classical GMT and CGMT Theorems from the case where the underlying Gaussian matrix in the primary process has iid rows to where it has independent but non-identically-distributed ones. The new CGMT is applied to the problems of multi-source Gaussian regression, as well as to binary classification of general Gaussian mixture models.

arxiv情報

著者 Danil Akhtiamov,David Bosch,Reza Ghane,K Nithin Varma,Babak Hassibi
発行日 2024-10-15 17:43:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | A Novel Gaussian Min-Max Theorem and its Applications はコメントを受け付けていません

Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws

投稿日: 2024年10月16日 作成者: jarxiv

要約

事前トレーニング データの構成は基礎モデルのパフォーマンスの重要な決定要因ですが、限られた計算予算をさまざまなデータ ソースに割り当てるための標準的なガイドラインはありません。
現在のアプローチのほとんどは、小規模なモデルを使用した大規模な実験か、プロキシ モデルも必要とする動的なデータ調整に依存しており、どちらもワークフローの複雑さと計算オーバーヘッドを大幅に増加させます。
このペーパーでは、モデルのトレーニングと同時にオンライン形式でデータ分布を最適化するアルゴリズムである Adaptive Data Optimization (ADO) を紹介します。
既存の手法とは異なり、ADO は外部の知識、プロキシ モデル、またはモデル更新への変更を必要としません。
代わりに、ADO はドメインごとのスケーリング則を使用してトレーニング中に各ドメインの学習可能性を推定し、それに応じてデータ混合を調整することで、よりスケーラブルで統合が容易になります。
実験では、ADO がさまざまな計算スケールにわたって計算効率を維持しながら、従来の方法と同等以上のパフォーマンスを達成できることが実証されており、柔軟性を犠牲にしたりコストを増加させたりすることなくデータ分散を動的に調整するための実用的なソリューションを提供します。
ADO は、実際的な利点を超えて、スケーリング則を通じてデータ収集戦略に新しい視点を提供します。

要約(オリジナル)

The composition of pretraining data is a key determinant of foundation models’ performance, but there is no standard guideline for allocating a limited computational budget across different data sources. Most current approaches either rely on extensive experiments with smaller models or dynamic data adjustments that also require proxy models, both of which significantly increase the workflow complexity and computational overhead. In this paper, we introduce Adaptive Data Optimization (ADO), an algorithm that optimizes data distributions in an online fashion, concurrent with model training. Unlike existing techniques, ADO does not require external knowledge, proxy models, or modifications to the model update. Instead, ADO uses per-domain scaling laws to estimate the learning potential of each domain during training and adjusts the data mixture accordingly, making it more scalable and easier to integrate. Experiments demonstrate that ADO can achieve comparable or better performance than prior methods while maintaining computational efficiency across different computation scales, offering a practical solution for dynamically adjusting data distribution without sacrificing flexibility or increasing costs. Beyond its practical benefits, ADO also provides a new perspective on data collection strategies via scaling laws.

arxiv情報

著者 Yiding Jiang,Allan Zhou,Zhili Feng,Sadhika Malladi,J. Zico Kolter
発行日 2024-10-15 17:47:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws はコメントを受け付けていません

Bayesian Experimental Design via Contrastive Diffusions

投稿日: 2024年10月16日 作成者: jarxiv

要約

ベイズ最適実験計画 (BOED) は、一連の実験の実行コストを削減する強力なツールです。
期待情報利得 (EIG) に基づく場合、設計の最適化は、事前分布と事後分布の間のいくつかの扱いにくい期待値 {\it コントラスト} の最大化に対応します。
BOED 固有の計算の複雑さのため、この最大化を高次元で複雑な設定に拡張することは問題でした。
この研究では、コスト効率の高いサンプリング特性を備えた {\it Expected posterior} 分布を導入し、新しい EIG 勾配表現を介して EIG コントラスト最大化への扱いやすいアクセスを提供します。
拡散ベースのサンプラーを使用して、予想される事後分布のダイナミクスを計算し、バイレベル最適化からのアイデアを活用して、EIG の下限近似に頼ることなく、効率的な統合サンプリング最適化ループを導き出します。
結果として生じる効率の向上により、BOED を十分にテストされた拡散モデルの生成機能まで拡張することができます。
生成モデルを BOED フレームワークに組み込むことで、その範囲と以前は非現実的だったシナリオでの使用を拡大します。
数値実験と最先端の手法との比較により、このアプローチの可能性が示されています。

要約(オリジナル)

Bayesian Optimal Experimental Design (BOED) is a powerful tool to reduce the cost of running a sequence of experiments. When based on the Expected Information Gain (EIG), design optimization corresponds to the maximization of some intractable expected {\it contrast} between prior and posterior distributions. Scaling this maximization to high dimensional and complex settings has been an issue due to BOED inherent computational complexity. In this work, we introduce an {\it expected posterior} distribution with cost-effective sampling properties and provide a tractable access to the EIG contrast maximization via a new EIG gradient expression. Diffusion-based samplers are used to compute the dynamics of the expected posterior and ideas from bi-level optimization are leveraged to derive an efficient joint sampling-optimization loop, without resorting to lower bound approximations of the EIG. The resulting efficiency gain allows to extend BOED to the well-tested generative capabilities of diffusion models. By incorporating generative models into the BOED framework, we expand its scope and its use in scenarios that were previously impractical. Numerical experiments and comparison with state-of-the-art methods show the potential of the approach.

arxiv情報

著者 Jacopo Iollo,Christophe Heinkelé,Pierre Alliez,Florence Forbes
発行日 2024-10-15 17:53:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Bayesian Experimental Design via Contrastive Diffusions はコメントを受け付けていません

Words as Trigger Points in Social Media Discussions

投稿日: 2024年10月16日 作成者: jarxiv

要約

トリガーポイントはマウらによって導入されました。
[30]、これらは感情的な政治的アイデンティティの理論に根ざしており、道徳的期待や社会的性質についての深く嘘のある信念に関連しています。
オンライン ディスカッションのトリガー ポイントを調べることは、ソーシャル メディア ユーザーが意見の相違や感情的な政治的審議に参加する理由とタイミングを理解するのに役立ちます。
これにより、ソーシャル メディア ユーザー エンゲージメントをより効果的にモデル化し、オンライン ディベートにおける有害な反応、ヘイト スピーチ、暴言を引き起こす条件と因果メカニズムを研究するための扉が開かれます。

要約(オリジナル)

Trigger points, introduced by Mau et al . [30], are rooted in theories of affective political identity and relate to deeply lying beliefs about moral expectations and social dispositions. Examining trigger points in online discussions helps understand why and when social media users engage in disagreements or affective political deliberations. This opens the door to modelling social media user engagement more effectively and studying the conditions and causal mechanisms that lead to adverse reactions, hate speech, and abusive language in online debates.

arxiv情報

著者 Dimosthenis Antypas,Christian Arnold,Jose Camacho-Collados,Nedjma Ousidhoum,Carla Perez Almendros
発行日 2024-10-15 13:37:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY, cs.SI | Words as Trigger Points in Social Media Discussions はコメントを受け付けていません