Agentic AI: The Era of Semantic Decoding

投稿日: 2025年4月30日 作成者: jarxiv

要約

最近の研究は、LLMS、人間の入力、およびLLMの固有の制限に対処するためのさまざまなツールの間の共同作業を組織するという考えに大きな期待を示しました。
セマンティックデコードと呼ばれる新しい視点を提案します。セマンティックデコードは、これらの共同プロセスをセマンティックスペースの最適化手順としてフレーム化します。
具体的には、LLMSを意味のある情報を操作するセマンティックプロセッサとして概念化します。
LLMは、検索エンジンやコードエグゼクティアなど、人間やツールを含む他のセマンティックプロセッサの大きなプールの1つです。
集合的に、セマンティックプロセッサは、セマンティックトークンの動的な交換に従事し、高効用出力を徐々に構築します。
セマンティックプロセッサ間のこれらの組織化された相互作用を参照し、セマンティックデコードアルゴリズムとしてセマンティックスペースで最適化および検索します。
この概念は、構文デコードの適切に研究された問題と直接並行して並行しています。これには、アルゴリズムの高効率シーケンスを抽出するための自動再帰言語モデルを最適に活用することが含まれます。
セマンティックレベルに焦点を当て、構文の詳細を無視することにより、AIシステムのエンジニアリングに関する新たな視点を獲得し、はるかに複雑さと能力を持つシステムを想像できるようになります。
このポジションペーパーでは、構文トークンからセマンティックトークンへの移行と、構文とセマンティックデコードの類似性を正式にします。
その後、セマンティックデコードアルゴリズムを介してセマンティックトークンのスペース内で最適化する可能性を調査します。
この新鮮な観点から生じる研究の機会と質問のリストで締めくくります。
セマンティックデコードの視点は、意味のある概念の空間で直接検索と最適化のための強力な抽象化を提供し、セマンティックトークンは新しいタイプの計算の基本単位としてです。

要約(オリジナル)

Recent work demonstrated great promise in the idea of orchestrating collaborations between LLMs, human input, and various tools to address the inherent limitations of LLMs. We propose a novel perspective called semantic decoding, which frames these collaborative processes as optimization procedures in semantic space. Specifically, we conceptualize LLMs as semantic processors that manipulate meaningful pieces of information that we call semantic tokens (known thoughts). LLMs are among a large pool of other semantic processors, including humans and tools, such as search engines or code executors. Collectively, semantic processors engage in dynamic exchanges of semantic tokens to progressively construct high-utility outputs. We refer to these orchestrated interactions among semantic processors, optimizing and searching in semantic space, as semantic decoding algorithms. This concept draws a direct parallel to the well-studied problem of syntactic decoding, which involves crafting algorithms to best exploit auto-regressive language models for extracting high-utility sequences of syntactic tokens. By focusing on the semantic level and disregarding syntactic details, we gain a fresh perspective on the engineering of AI systems, enabling us to imagine systems with much greater complexity and capabilities. In this position paper, we formalize the transition from syntactic to semantic tokens as well as the analogy between syntactic and semantic decoding. Subsequently, we explore the possibilities of optimizing within the space of semantic tokens via semantic decoding algorithms. We conclude with a list of research opportunities and questions arising from this fresh perspective. The semantic decoding perspective offers a powerful abstraction for search and optimization directly in the space of meaningful concepts, with semantic tokens as the fundamental units of a new type of computation.

arxiv情報

著者 Maxime Peyrard,Martin Josifoski,Robert West
発行日 2025-04-29 15:24:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC, cs.MA | Agentic AI: The Era of Semantic Decoding はコメントを受け付けていません

X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation

投稿日: 2025年4月30日 作成者: jarxiv

要約

新製品が毎日出現しているため、推奨システムは、大規模な再訓練を必要とせずに、可能な新しいドメインに迅速に適応する必要があります。
この作業は、「X-Cross」を提示します。これは、いくつかのドメイン固有の言語モデルを統合することにより、新しいドメインで製品を推奨する新しいクロスドメインシーケンシャル推奨モデルです。
各モデルには、低ランクアダプター（LORA）で微調整されています。
推奨プロンプトがレイヤーごとに動作する推奨プロンプトが与えられた場合、X-Crossは、他のすべてのモデルから知識を統合することにより、各ソース言語モデルの表現を動的に改良します。
これらの洗練された表現は、1つのレイヤーから次のレイヤーに伝播され、各ドメインアダプターからのアクティベーションを活用して、ドメイン全体の適応性を可能にしながらドメイン固有のニュアンスが保存されます。
Amazonデータセットを使用して連続的な推奨事項を使用して、X-Crossは、追加のパラメーターの25％のみを使用しながら、LORAで微調整されたモデルに匹敵するパフォーマンスを実現します。
おもちゃのドメインからツール、エレクトロニクス、またはスポーツに適応するなどのクロスドメインタスクでは、X-Crossは堅牢なパフォーマンスを示しますが、微調整を効果的にするためにLORAよりも約50％〜75％少ないデータを必要とします。
さらに、X-Crossは、代替クロスドメインベースラインよりも精度が大幅に改善されます。
全体として、X-Crossはスケーラブルで適応性のあるクロスドメインの推奨事項を有効にし、計算オーバーヘッドを削減し、データ制約の環境に効率的なソリューションを提供します。

要約(オリジナル)

As new products are emerging daily, recommendation systems are required to quickly adapt to possible new domains without needing extensive retraining. This work presents “X-Cross” — a novel cross-domain sequential-recommendation model that recommends products in new domains by integrating several domain-specific language models; each model is fine-tuned with low-rank adapters (LoRA). Given a recommendation prompt, operating layer by layer, X-Cross dynamically refines the representation of each source language model by integrating knowledge from all other models. These refined representations are propagated from one layer to the next, leveraging the activations from each domain adapter to ensure domain-specific nuances are preserved while enabling adaptability across domains. Using Amazon datasets for sequential recommendation, X-Cross achieves performance comparable to a model that is fine-tuned with LoRA, while using only 25% of the additional parameters. In cross-domain tasks, such as adapting from Toys domain to Tools, Electronics or Sports, X-Cross demonstrates robust performance, while requiring about 50%-75% less fine-tuning data than LoRA to make fine-tuning effective. Furthermore, X-Cross achieves significant improvement in accuracy over alternative cross-domain baselines. Overall, X-Cross enables scalable and adaptive cross-domain recommendations, reducing computational overhead and providing an efficient solution for data-constrained environments.

arxiv情報

著者 Guy Hadad,Haggai Roitman,Yotam Eshel,Bracha Shapira,Lior Rokach
発行日 2025-04-29 15:33:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR, cs.LG | X-Cross: Dynamic Integration of Language Models for Cross-Domain Sequential Recommendation はコメントを受け付けていません

Constraint Back-translation Improves Complex Instruction Following of Large Language Models

投稿日: 2025年4月30日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、形式、長さなどの複雑な制約を伴う命令に従うのに苦労しています。従来の命令調整慣行に続いて、以前の作品は、複雑な指示を高度なLLMに供給することによって生成される複雑な命令応答ペアのトレーニング後に行われます。
ただし、高度なLLMでさえ複雑な命令に適していないため、生成されたデータの品質が制限されます。
この作業では、既存のデータセットには本質的に暗黙的な複雑な制約が含まれており、新しいデータ生成手法、制約逆転移を提案することがわかります。
具体的には、既存のデータセットで高品質の命令応答ペアを取り、高度なLLMを採用して、コストとデータノイズを自然に削減する命令への応答によってすでに満たされている複雑な制約を追加します。
実験では、llama3-70b-instructを採用して制約を逆翻訳し、Crabという名前の高品質の複雑な命令応答データセットを作成します。
CRABでのトレーニング後のトレーニングにより、複数のバックボーンLLMSの複雑な命令に従う能力が改善され、広範な命令に従うベンチマークで評価されます。
さらに、制約の逆翻訳は、トレーニング後の有用な補助トレーニング目標としても機能することがわかります。
私たちのコード、データ、モデルは、将来の研究を促進するためにリリースされます。

要約(オリジナル)

Large language models (LLMs) struggle to follow instructions with complex constraints in format, length, etc. Following the conventional instruction-tuning practice, previous works conduct post-training on complex instruction-response pairs generated by feeding complex instructions to advanced LLMs. However, even advanced LLMs cannot follow complex instructions well, thus limiting the quality of generated data. In this work, we find that existing datasets inherently contain implicit complex constraints and propose a novel data generation technique, constraint back-translation. Specifically, we take the high-quality instruction-response pairs in existing datasets and only adopt advanced LLMs to add complex constraints already met by the responses to the instructions, which naturally reduces costs and data noise. In the experiments, we adopt Llama3-70B-Instruct to back-translate constraints and create a high-quality complex instruction-response dataset, named CRAB. We present that post-training on CRAB improves multiple backbone LLMs’ complex instruction-following ability, evaluated on extensive instruction-following benchmarks. We further find that constraint back-translation also serves as a useful auxiliary training objective in post-training. Our code, data, and models will be released to facilitate future research.

arxiv情報

著者 Yunjia Qi,Hao Peng,Xiaozhi Wang,Bin Xu,Lei Hou,Juanzi Li
発行日 2025-04-29 15:38:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Constraint Back-translation Improves Complex Instruction Following of Large Language Models はコメントを受け付けていません

Tabular Data Adapters: Improving Outlier Detection for Unlabeled Private Data

投稿日: 2025年4月30日 作成者: jarxiv

要約

ディープラーニングアプローチの顕著な成功は、多くの場合、大規模なパブリックデータセットに基づいて実証されています。
ただし、そのようなアプローチを内部のプライベートデータセットに適用する場合、データセットの構造的な違い、ドメインシフト、およびラベルの欠如から生じる課題に頻繁に直面します。
この作業では、アウトサイレット検出タスクでラベル付けされていない表形式データのソフトラベルを生成するための新しい方法である表形式データアダプター（TDA）を紹介します。
統計的に類似したパブリックデータセットを識別し、（共有自動エンコーダーに基づく）プライベートデータを最先端のパブリックモデルと互換性のある形式に変換することにより、このアプローチは弱いラベルの生成を可能にします。
これにより、パブリックデータセットの既存の外れ値検出モデルに基づいて、ラベル付けのコールドスタートの問題を軽減するのに役立ちます。
異なるドメインの50の表形式データセットでの実験では、計算時間を短縮しながら、ベースラインアプローチよりも正確な注釈を提供できることを実証します。
当社のアプローチは、公共研究モデルと現実世界の産業用途とのギャップを埋めるために、スケーラブルで効率的で費用対効果の高いソリューションを提供します。

要約(オリジナル)

The remarkable success of Deep Learning approaches is often based and demonstrated on large public datasets. However, when applying such approaches to internal, private datasets, one frequently faces challenges arising from structural differences in the datasets, domain shift, and the lack of labels. In this work, we introduce Tabular Data Adapters (TDA), a novel method for generating soft labels for unlabeled tabular data in outlier detection tasks. By identifying statistically similar public datasets and transforming private data (based on a shared autoencoder) into a format compatible with state-of-the-art public models, our approach enables the generation of weak labels. It thereby can help to mitigate the cold start problem of labeling by basing on existing outlier detection models for public datasets. In experiments on 50 tabular datasets across different domains, we demonstrate that our method is able to provide more accurate annotations than baseline approaches while reducing computational time. Our approach offers a scalable, efficient, and cost-effective solution, to bridge the gap between public research models and real-world industrial applications.

arxiv情報

著者 Dayananda Herurkar,Jörn Hees,Vesselin Tzvetkov,Andreas Dengel
発行日 2025-04-29 15:38:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Tabular Data Adapters: Improving Outlier Detection for Unlabeled Private Data はコメントを受け付けていません

Quantifying the Noise of Structural Perturbations on Graph Adversarial Attacks

投稿日: 2025年4月30日 作成者: jarxiv

要約

グラフニューラルネットワークは、近隣のローカル情報を利用する際の強力な学習力のために、グラフ関連のタスクを解決するために広く利用されています。
しかし、グラフ敵対的攻撃に関する最近の研究は、現在のグラフニューラルネットワークが悪意のある攻撃に対して堅牢ではないことを証明しています。
しかし、既存の作業の多くは、（近い）最適な摂動を得るための攻撃パフォーマンスに基づいて最適化の目標に焦点を合わせていますが、特定のノード/リンクの注入など、各摂動の強度の定量化にあまり注意を払いませんでした。
この作業では、各敵のリンクの攻撃強度を定量化するためにノイズの概念を提案します。
さらに、単一および複数のステップの最適化の観点から、定義されたノイズと分類マージンに基づいて3つの攻撃戦略を提案します。
3つの代表的なグラフニューラルネットワークに対してベンチマークデータセットで実施された広範な実験は、提案された攻撃戦略の有効性を示しています。
特に、選択した摂動ノードの対応する特性を分析することにより、効果的な敵対的摂動の好ましいパターンも調査します。

要約(オリジナル)

Graph neural networks have been widely utilized to solve graph-related tasks because of their strong learning power in utilizing the local information of neighbors. However, recent studies on graph adversarial attacks have proven that current graph neural networks are not robust against malicious attacks. Yet much of the existing work has focused on the optimization objective based on attack performance to obtain (near) optimal perturbations, but paid less attention to the strength quantification of each perturbation such as the injection of a particular node/link, which makes the choice of perturbations a black-box model that lacks interpretability. In this work, we propose the concept of noise to quantify the attack strength of each adversarial link. Furthermore, we propose three attack strategies based on the defined noise and classification margins in terms of single and multiple steps optimization. Extensive experiments conducted on benchmark datasets against three representative graph neural networks demonstrate the effectiveness of the proposed attack strategies. Particularly, we also investigate the preferred patterns of effective adversarial perturbations by analyzing the corresponding properties of the selected perturbation nodes.

arxiv情報

著者 Junyuan Fang,Han Yang,Haixian Wen,Jiajing Wu,Zibin Zheng,Chi K. Tse
発行日 2025-04-29 15:42:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | Quantifying the Noise of Structural Perturbations on Graph Adversarial Attacks はコメントを受け付けていません

The Leaderboard Illusion

投稿日: 2025年4月30日 作成者: jarxiv

要約

進捗状況の測定は、あらゆる科学分野の進歩の基本です。
ベンチマークがますます中心的な役割を果たしているため、歪みの影響を受けやすくなります。
Chatbot Arenaは、最も有能なAIシステムをランキングするための頼りになるリーダーボードとして登場しました。
しかし、この作業では、歪んだ競技場をもたらした体系的な問題を特定します。
非公開のプライベートテスト慣行は、公開リリース前に複数のバリアントをテストし、必要に応じてスコアを撤回することができる少数のプロバイダーに利益をもたらすことがわかります。
これらのプロバイダーが最高のスコアを選択する能力が、パフォーマンス結果の選択的な開示により、偏ったアリーナスコアにつながることを確立します。
極端に、LLAMA-4リリースのリードアップでメタによってテストされた27のプライベートLLMバリアントを特定します。
また、独自の閉じたモデルがより高いレート（戦闘の数）でサンプリングされ、オープンウェイトおよびオープンソースの代替品よりもアリーナから除去されるモデルが少ないことを確立します。
これらのポリシーは両方とも、時間の経過とともに大規模なデータアクセスの非対称性につながります。
GoogleやOpenaiなどのプロバイダーは、それぞれアリーナのすべてのデータの推定19.2％と20.4％を受け取りました。
対照的に、合計83のオープンウェイトモデルは、総データの推定29.7％しか受けていません。
Chatbot Arenaデータへのアクセスが大きな利点をもたらすことを示しています。
限られた追加データでさえ、保守的な推定に基づいて、アリーナ分布の最大112％の相対的なパフォーマンスの向上をもたらす可能性があります。
合わせて、これらのダイナミクスは、一般的なモデルの品質ではなく、アリーナ固有のダイナミクスに過剰適合します。
アリーナは、この貴重な評価プラットフォームを維持する主催者とオープンコミュニティの両方の実質的な努力に基づいています。
チャットボットアリーナの評価フレームワークを改革し、フィールドのより公正で透明なベンチマークを促進するための実用的な推奨事項を提供します

要約(オリジナル)

Measuring progress is fundamental to the advancement of any scientific field. As benchmarks play an increasingly central role, they also grow more susceptible to distortion. Chatbot Arena has emerged as the go-to leaderboard for ranking the most capable AI systems. Yet, in this work we identify systematic issues that have resulted in a distorted playing field. We find that undisclosed private testing practices benefit a handful of providers who are able to test multiple variants before public release and retract scores if desired. We establish that the ability of these providers to choose the best score leads to biased Arena scores due to selective disclosure of performance results. At an extreme, we identify 27 private LLM variants tested by Meta in the lead-up to the Llama-4 release. We also establish that proprietary closed models are sampled at higher rates (number of battles) and have fewer models removed from the arena than open-weight and open-source alternatives. Both these policies lead to large data access asymmetries over time. Providers like Google and OpenAI have received an estimated 19.2% and 20.4% of all data on the arena, respectively. In contrast, a combined 83 open-weight models have only received an estimated 29.7% of the total data. We show that access to Chatbot Arena data yields substantial benefits; even limited additional data can result in relative performance gains of up to 112% on the arena distribution, based on our conservative estimates. Together, these dynamics result in overfitting to Arena-specific dynamics rather than general model quality. The Arena builds on the substantial efforts of both the organizers and an open community that maintains this valuable evaluation platform. We offer actionable recommendations to reform the Chatbot Arena’s evaluation framework and promote fairer, more transparent benchmarking for the field

arxiv情報

著者 Shivalika Singh,Yiyang Nan,Alex Wang,Daniel D’Souza,Sayash Kapoor,Ahmet Üstün,Sanmi Koyejo,Yuntian Deng,Shayne Longpre,Noah Smith,Beyza Ermis,Marzieh Fadaee,Sara Hooker
発行日 2025-04-29 15:48:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, stat.ME | The Leaderboard Illusion はコメントを受け付けていません

Mitigating Timbre Leakage with Universal Semantic Mapping Residual Block for Voice Conversion

投稿日: 2025年4月30日 作成者: jarxiv

要約

音声変換（VC）は、コンテンツを保存することにより、ソース音声をターゲット音声に変換します。
ただし、ソーススピーカーからの音色情報は、本質的にコンテンツ表現に埋め込まれており、大幅な音色の漏れを引き起こし、ターゲットスピーカーとの類似性を減らします。
これに対処するために、コンテンツ抽出器に残留ブロックを導入します。
残差ブロックは、2つの重み付けされた分岐で構成されています。1）ユニバーサルセマンティック辞書ベースのコンテンツ機能の再発現（CFR）モジュールは、音色のないコンテンツ表現を提供します。
2）元のコンテンツレイヤーへの接続をスキップし、補完的な細粒情報を提供します。
CFRモジュールでは、ユニバーサルセマンティック辞書の各辞書エントリは、複数のスピーカーからの音声を使用して統計的に計算された音素クラスを表し、安定したスピーカーに依存しないセマンティックセットを作成します。
各コンテンツフレームを、対応する音素事後の重みを重みとして使用して辞書エントリの加重線形組み合わせとして表現することにより、CFRメソッドを導入して、音色のないコンテンツ表現を取得します。
さまざまなVCフレームワークにわたる広範な実験は、私たちのアプローチが音色の漏れを効果的に軽減し、ターゲットスピーカーとの類似性を大幅に改善することを示しています。

要約(オリジナル)

Voice conversion (VC) transforms source speech into a target voice by preserving the content. However, timbre information from the source speaker is inherently embedded in the content representations, causing significant timbre leakage and reducing similarity to the target speaker. To address this, we introduce a residual block to a content extractor. The residual block consists of two weighted branches: 1) universal semantic dictionary based Content Feature Re-expression (CFR) module, supplying timbre-free content representation. 2) skip connection to the original content layer, providing complementary fine-grained information. In the CFR module, each dictionary entry in the universal semantic dictionary represents a phoneme class, computed statistically using speech from multiple speakers, creating a stable, speaker-independent semantic set. We introduce a CFR method to obtain timbre-free content representations by expressing each content frame as a weighted linear combination of dictionary entries using corresponding phoneme posteriors as weights. Extensive experiments across various VC frameworks demonstrate that our approach effectively mitigates timbre leakage and significantly improves similarity to the target speaker.

arxiv情報

著者 Na Li,Chuke Wang,Yu Gu,Zhifeng Li
発行日 2025-04-29 15:49:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SD, eess.AS | Mitigating Timbre Leakage with Universal Semantic Mapping Residual Block for Voice Conversion はコメントを受け付けていません

Return Capping: Sample-Efficient CVaR Policy Gradient Optimisation

投稿日: 2025年4月30日 作成者: jarxiv

要約

ポリシーグラデーション（PG）を使用して条件付き値（CVAR）を最適化する場合、電流は、大部分のトランスジェクターを破棄することに依存しており、サンプル効率が低下します。
単にそれらを破棄するのではなく、トレーニングで使用される軌道の総リターンをキャップすることにより、CVAR最適化問題の再定式化を提案し、これがキャップが適切に設定されている場合、元の問題に相当することを示します。
多くの環境で経験的な結果をもたらし、この問題のこの再定式化は、ベースラインと比較してパフォーマンスが一貫して改善されることを示しています。

要約(オリジナル)

When optimising for conditional value at risk (CVaR) using policy gradients (PG), current meth- ods rely on discarding a large proportion of tra- jectories, resulting in poor sample efficiency. We propose a reformulation of the CVaR optimisation problem by capping the total return of trajecto- ries used in training, rather than simply discard- ing them, and show that this is equivalent to the original problem if the cap is set appropriately. We show, with empirical results in an number of environments, that this reformulation of the prob- lem results in consistently improved performance compared to baselines.

arxiv情報

著者 Harry Mead,Clarissa Costen,Bruno Lacerda,Nick Hawes
発行日 2025-04-29 16:04:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Return Capping: Sample-Efficient CVaR Policy Gradient Optimisation はコメントを受け付けていません

A simulation-heuristics dual-process model for intuitive physics

投稿日: 2025年4月30日 作成者: jarxiv

要約

人間の身体的推論における精神シミュレーションの役割は広く認められていますが、シミュレーションコストが変化するシナリオ全体で採用されているかどうか、およびその境界の嘘は不明のままです。
注ぎの丸いタスクを使用して、私たちの人間の研究は、シミュレーション時間によって区別される注ぐ角度を予測するときに2つの異なる誤差パターンを明らかにしました。
メンタルシミュレーションはより単純なシナリオで人間の判断を正確にキャプチャしましたが、シミュレーション時間が特定の境界を超えた場合、線形ヒューリスティックモデルは人間の予測によく一致しました。
これらの観察に動機付けられて、私たちはデュアルプロセスフレームワーク、シミュレーション – フェルーリス、SHM）を提案します。ここでは、直感的な物理学が短時間シミュレーションにシミュレーションを採用していますが、シミュレーションがコストがかかるとヒューリスティックに切り替えます。
以前に統合されたモデルに分離された計算方法を統合することにより、SHMはスイッチングメカニズムを定量的にキャプチャします。
SHMは、人間の行動とより正確に整合し、多様なシナリオ全体で一貫した予測パフォーマンスを示し、直感的な身体的推論の適応性の理解を促進します。

要約(オリジナル)

The role of mental simulation in human physical reasoning is widely acknowledged, but whether it is employed across scenarios with varying simulation costs and where its boundary lies remains unclear. Using a pouring-marble task, our human study revealed two distinct error patterns when predicting pouring angles, differentiated by simulation time. While mental simulation accurately captured human judgments in simpler scenarios, a linear heuristic model better matched human predictions when simulation time exceeded a certain boundary. Motivated by these observations, we propose a dual-process framework, Simulation-Heuristics Model (SHM), where intuitive physics employs simulation for short-time simulation but switches to heuristics when simulation becomes costly. By integrating computational methods previously viewed as separate into a unified model, SHM quantitatively captures their switching mechanism. The SHM aligns more precisely with human behavior and demonstrates consistent predictive performance across diverse scenarios, advancing our understanding of the adaptive nature of intuitive physical reasoning.

arxiv情報

著者 Shiqian Li,Yuxi Ma,Jiajun Yan,Bo Dai,Yujia Peng,Chi Zhang,Yixin Zhu
発行日 2025-04-29 16:13:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, physics.ed-ph | A simulation-heuristics dual-process model for intuitive physics はコメントを受け付けていません

One-Shot Clustering for Federated Learning

投稿日: 2025年4月30日 作成者: jarxiv

要約

Federated Learning（FL）は、参加しているクライアント間でデータを直接転送する必要なく、複数のソースから1つのモデルをトレーニングできる分散学習の広範囲でよく採用されたパラダイムです。
2015年の設立以来、データの不均一性やリソース割り当てなど、アプリケーション固有の問題を扱う多数のサブフィールドに分けられています。
そのようなサブフィールド、クラスター化されたフェデレーションラーニング（CFL）は、クライアントの母集団を個別のコホートにクラスタリングしてパーソナライズされたモデルを提供する問題に対処しています。
このドメインには驚くべき作品はほとんど掲載されていませんが、その基本的な仮定と設定は標準FLとはわずかに異なるため、問題は依然としてほとんど説明されていません。
この作業では、クラスタリングに適切な瞬間を自動的に検出できるクラスタリングと存在するアルゴリズムであるワンショットクラスター化フェデレートラーニング（OCFL）を提示します。
私たちのアルゴリズムは、クライアントの勾配間のコサインの類似性と、フェデレーションモデルが収束し始めたときに検出する温度測定値の計算に基づいています。
3つのベンチマークデータセットで30を超える異なるタスクについて、さまざまなワンショットクラスタリングアルゴリズムをテストすることにより、方法論を経験的に評価します。
私たちの実験は、ハイパーパラメーターを調整する必要なく、自動化された方法でCFLを実行するために使用される場合のアプローチの良好なパフォーマンスを示しています。

要約(オリジナル)

Federated Learning (FL) is a widespread and well adopted paradigm of decentralized learning that allows training one model from multiple sources without the need to directly transfer data between participating clients. Since its inception in 2015, it has been divided into numerous sub-fields that deal with application-specific issues, be it data heterogeneity or resource allocation. One such sub-field, Clustered Federated Learning (CFL), is dealing with the problem of clustering the population of clients into separate cohorts to deliver personalized models. Although few remarkable works have been published in this domain, the problem is still largely unexplored, as its basic assumption and settings are slightly different from standard FL. In this work, we present One-Shot Clustered Federated Learning (OCFL), a clustering-agnostic algorithm that can automatically detect the earliest suitable moment for clustering. Our algorithm is based on the computation of cosine similarity between gradients of the clients and a temperature measure that detects when the federated model starts to converge. We empirically evaluate our methodology by testing various one-shot clustering algorithms for over thirty different tasks on three benchmark datasets. Our experiments showcase the good performance of our approach when used to perform CFL in an automated manner without the need to adjust hyperparameters.

arxiv情報

著者 Maciej Krzysztof Zuziak,Roberto Pellungrini,Salvatore Rinzivillo
発行日 2025-04-29 16:14:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | One-Shot Clustering for Federated Learning はコメントを受け付けていません