Don’t lie to your friends: Learning what you know from collaborative self-play

投稿日: 2025年3月19日 作成者: jarxiv

要約

役立つアシスタントになるには、AIエージェントは自分の能力と制限に注意する必要があります。
これには、パラメトリックの知識からツールの使用、いつツールの出力を信頼するか、いつ控えるかヘッジするかを知ることが含まれます。
このような機能は、エージェントの特定の機能を反映する例を構築する必要があるため、監視された微調整を通じて教えることが困難です。
したがって、私たちは、彼らが知っていることをエージェントに教えるための根本的に新しいアプローチを提案します。
私たちは、グループが集合的に正しい答えに到着したことで報われるマルチエージェントコラボレーションを構築します。
望ましいメタ知識は、相互作用の構造に組み込まれたインセンティブから生まれます。
私たちは、不均一なツール（コーパス固有の検索）にアクセスできる小さな社会に焦点を当てているため、努力を最小限に抑えながら成功を最大化するために協力する必要があります。
実験は、マルチエージェントコミュニティのグループレベルの報酬が、個々のエージェントが単独で展開される設定のツールの使用と選択的予測を改善するために\ emph {cransfer}というポリシーを誘導できることを示しています。

要約(オリジナル)

To be helpful assistants, AI agents must be aware of their own capabilities and limitations. This includes knowing when to answer from parametric knowledge versus using tools, when to trust tool outputs, and when to abstain or hedge. Such capabilities are hard to teach through supervised fine-tuning because they require constructing examples that reflect the agent’s specific capabilities. We therefore propose a radically new approach to teaching agents what they know: \emph{collaborative self-play}. We construct multi-agent collaborations in which the group is rewarded for collectively arriving at correct answers. The desired meta-knowledge emerges from the incentives built into the structure of the interaction. We focus on small societies of agents that have access to heterogeneous tools (corpus-specific retrieval), and therefore must collaborate to maximize their success while minimizing their effort. Experiments show that group-level rewards for multi-agent communities can induce policies that \emph{transfer} to improve tool use and selective prediction in settings where individual agents are deployed in isolation.

arxiv情報

著者 Jacob Eisenstein,Reza Aghajani,Adam Fisch,Dheeru Dua,Fantine Huot,Mirella Lapata,Vicky Zayats,Jonathan Berant
発行日 2025-03-18 17:53:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Don’t lie to your friends: Learning what you know from collaborative self-play はコメントを受け付けていません

Temporal Consistency for LLM Reasoning Process Error Identification

投稿日: 2025年3月19日 作成者: jarxiv

要約

検証は、効果的な数学的推論のために重要です。
以前の評価に基づいて検証剤が彼らの判断を繰り返し改善する新しい時間的一貫性方法を提示します。
1ラウンドの検証やマルチモデルの討論がアプローチするのとは異なり、私たちの方法は、検証の精度を改善するために、一連の自己反省的アクションで一貫性を活用します。
多様な数学プロセスエラー識別ベンチマーク（MathCheck、ProcessBench、およびPRM800K）にわたる経験的評価は、ベースライン方法にわたって一貫したパフォーマンスの改善を示しています。
最近のDeepSeek R1蒸留モデルに適用されると、この方法は強力なパフォーマンスを示し、7B/8B蒸留モデルがすべての70B/72BモデルとGPT-4OをProcessBenchで上回ることができます。
特に、この方法を備えた蒸留14Bモデルは、DeepSeek-R1に匹敵するパフォーマンスを実現します。
当社のコードは、https：//github.com/jcguo123/tempolal-consintencyで入手できます

要約(オリジナル)

Verification is crucial for effective mathematical reasoning. We present a new temporal consistency method where verifiers iteratively refine their judgments based on the previous assessment. Unlike one-round verification or multi-model debate approaches, our method leverages consistency in a sequence of self-reflection actions to improve verification accuracy. Empirical evaluations across diverse mathematical process error identification benchmarks (Mathcheck, ProcessBench, and PRM800K) show consistent performance improvements over baseline methods. When applied to the recent DeepSeek R1 distilled models, our method demonstrates strong performance, enabling 7B/8B distilled models to outperform all 70B/72B models and GPT-4o on ProcessBench. Notably, the distilled 14B model with our method achieves performance comparable to Deepseek-R1. Our codes are available at https://github.com/jcguo123/Temporal-Consistency

arxiv情報

著者 Jiacheng Guo,Yue Wu,Jiahao Qiu,Kaixuan Huang,Xinzhe Juan,Ling Yang,Mengdi Wang
発行日 2025-03-18 17:58:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Temporal Consistency for LLM Reasoning Process Error Identification はコメントを受け付けていません

VGFL-SA: Vertical Graph Federated Learning Structure Attack Based on Contrastive Learning

投稿日: 2025年3月19日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）は、グラフデータから表現を学習する能力に注目を集めています。
クライアントがグラフデータを互いに直接共有できないことを妨げるプライバシーの懸念と利益相反により、垂直グラフフェデレートラーニング（VGFL）フレームワークが開発されました。
最近の研究では、VGFLはパフォーマンスを低下させる敵対的な攻撃に対して脆弱であることが示されています。
ただし、クライアントノードがVGFLの領域でしばしばラベル付けされていないことは一般的な問題です。
その結果、勾配を取得するために情報のラベル付け情報の可用性に依存する既存の攻撃は、その適用性に本質的に制約されています。
この制限は、実用的で実世界の環境での展開を妨げています。
上記の問題に対処するために、VGFL-SAと呼ばれるVGFLに対する新しいグラフ攻撃を提案し、ラベルを使用せずにローカルクライアント構造を変更することによりVGFLのパフォーマンスを分解します。
具体的には、VGFL-SAは、地元のクライアントが訓練される前に、対照的な学習方法を使用して攻撃を完了します。
VGFL-SAは、最初に毒されたクライアントのグラフ構造とノード機能情報にアクセスし、ノード度ベースのエッジの増強と特徴のシャッフル拡張によって対照的なビューを生成します。
次に、VGFL-SAは共有グラフエンコーダーを使用して各ビューの埋め込みを取得し、隣接マトリックスの勾配は対照関数によって取得されます。
最後に、勾配修正ルールを使用して摂動エッジが生成されます。
実際のデータセットでノード分類タスクを実行することにより、VGFL-SAのパフォーマンスを検証しました。結果は、VGFL-SAが優れた攻撃の有効性と転送可能性を達成することを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have gained attention for their ability to learn representations from graph data. Due to privacy concerns and conflicts of interest that prevent clients from directly sharing graph data with one another, Vertical Graph Federated Learning (VGFL) frameworks have been developed. Recent studies have shown that VGFL is vulnerable to adversarial attacks that degrade performance. However, it is a common problem that client nodes are often unlabeled in the realm of VGFL. Consequently, the existing attacks, which rely on the availability of labeling information to obtain gradients, are inherently constrained in their applicability. This limitation precludes their deployment in practical, real-world environments. To address the above problems, we propose a novel graph adversarial attack against VGFL, referred to as VGFL-SA, to degrade the performance of VGFL by modifying the local clients structure without using labels. Specifically, VGFL-SA uses a contrastive learning method to complete the attack before the local clients are trained. VGFL-SA first accesses the graph structure and node feature information of the poisoned clients, and generates the contrastive views by node-degree-based edge augmentation and feature shuffling augmentation. Then, VGFL-SA uses the shared graph encoder to get the embedding of each view, and the gradients of the adjacency matrices are obtained by the contrastive function. Finally, perturbed edges are generated using gradient modification rules. We validated the performance of VGFL-SA by performing a node classification task on real-world datasets, and the results show that VGFL-SA achieves good attack effectiveness and transferability.

arxiv情報

著者 Yang Chen,Bin Zhou
発行日 2025-03-18 15:07:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | VGFL-SA: Vertical Graph Federated Learning Structure Attack Based on Contrastive Learning はコメントを受け付けていません

Revealing higher-order neural representations with generative artificial intelligence

投稿日: 2025年3月19日 作成者: jarxiv

要約

研究の目的は、しばしば、神経表現が、その内容や構造など、観察者の環境の側面をどのようにエンコードするかを明らかにすることを目的としています。
これらは、「一次」表現（FORS）です。なぜなら、それらは外の世界に「約」」であるためです。
あまり一般的ではないターゲットは、「高次」表現（馬）です。これは、その内容、安定性、または不確実性という「約」のフォームです。
不確実性の馬は、不確実性の下での学習、学習率の影響、環境フィードバックに基づいた内部モデルの更新など、適応行動に非常に関与しているように見えます。
ただし、不確実性に関する馬は、特性に対して「読み出し」を直接的にする可能性は低く、代わりに損失、バイアスが発生しやすい、または歪んでいる可能性のある推定プロセスを反映しており、オブザーバーが経験する可能性のある不確実性の分布の推定値も組み込まれる可能性があります。
一部の研究では、「瞬時に」推定された不確実性の神経表現を標的としていますが、予想される不確実性の\ textit {分布}をどのように表現するかはほとんど未踏のままです。
ここでは、不確実性分布の神経表現を調査するための新しい強化学習（RL）ベースの生成人工知能（GENAI）アプローチを提案します。
既存の機能的磁気共鳴画像データを使用します。人間は、脳の状態を「非ノイズ」して標的神経パターンを達成することを学び、拡散性拡散性genaiモデルをRLアルゴリズムで訓練して、人間が同じことをする方法と同様のノイズ分布を学習します。
次に、これらのモデルの学習したノイズ分布馬を、従来のバックプロパゲーションで訓練されたコントロールモデルと比較して探索します。
結果は、RLベースのモデルが人間の行動にはるかに高い説明力を提供する騒音分布表現のモデル依存の違いを明らかにしています。

要約(オリジナル)

Studies often aim to reveal how neural representations encode aspects of an observer’s environment, such as its contents or structure. These are “first-order’ representations (FORs), because they’re “about’ the external world. A less-common target is “higher-order’ representations (HORs), which are “about’ FORs — their contents, stability, or uncertainty. HORs of uncertainty appear critically involved in adaptive behaviors including learning under uncertainty, influencing learning rates and internal model updating based on environmental feedback. However, HORs about uncertainty are unlikely to be direct “read-outs’ of FOR characteristics, instead reflecting estimation processes which may be lossy, bias-prone, or distortive and which may also incorporate estimates of distributions of uncertainty the observer is likely to experience. While some research has targeted neural representations of “instantaneously’ estimated uncertainty, how the brain represents \textit{distributions} of expected uncertainty remains largely unexplored. Here, we propose a novel reinforcement learning (RL) based generative artificial intelligence (genAI) approach to explore neural representations of uncertainty distributions. We use existing functional magnetic resonance imaging data, where humans learned to `de-noise’ their brain states to achieve target neural patterns, to train denoising diffusion genAI models with RL algorithms to learn noise distributions similar to how humans might learn to do the same. We then explore these models’ learned noise-distribution HORs compared to control models trained with traditional backpropagation. Results reveal model-dependent differences in noise distribution representations — with the RL-based model offering much higher explanatory power for human behavior — offering an exciting path towards using genAI to explore neural noise-distribution HORs.

arxiv情報

著者 Hojjat Azimi Asrari,Megan A. K. Peters
発行日 2025-03-18 15:08:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, q-bio.NC | Revealing higher-order neural representations with generative artificial intelligence はコメントを受け付けていません

Influence functions and regularity tangents for efficient active learning

投稿日: 2025年3月19日 作成者: jarxiv

要約

この論文では、回帰モデルにそのデータに対する好奇心を感じる効率的な方法について説明します。
機械学習の分野では、好奇心を表現するための枠組みはアクティブ学習と呼ばれます。これは、半監視設定でラベルを照会するデータポイントを自動的に選択する問題に関係しています。
私たちが提案する方法は、トレーニング中にモデルのパラメーターベクトルとともに（一定のスローダウンのみ）計算できる「規則性の接線」ベクトルの計算に基づいています。
次に、特定のデータポイントでモデルの損失の勾配ベクトルを使用して、この接線ベクトルの内部積を取り、モデルの複雑さに対するその点の影響の尺度を取得します。
最も単純なインスタンスでは、パラメーターベクトルと同じ次元の単一の規則性の接線ベクトルのみがあります。
したがって、提案された手法では、トレーニングが完了すると、潜在的なクエリデータポイントに関する「好奇心」を評価することは、その時点でモデルの損失勾配を計算するのと同じように迅速に実行できます。
新しいベクトルは、モデルに必要なストレージの量を2倍にします。
私たちの手法によって計算された数量は、「影響力」の例であり、特定のデータポイントを上にして発生するモデルの複雑さの予想される二乗変化を測定することを示します。
これやその他の関連数量を使用して、回帰モデルの新しいトレーニングデータポイントを選択するための多くの方法を提案します。

要約(オリジナル)

In this paper we describe an efficient method for providing a regression model with a sense of curiosity about its data. In the field of machine learning, our framework for representing curiosity is called Active Learning, which concerns the problem of automatically choosing data points for which to query labels in the semi-supervised setting. The methods we propose are based on computing a ‘regularity tangent’ vector that can be calculated (with only a constant slow-down) together with the model’s parameter vector during training. We then take the inner product of this tangent vector with the gradient vector of the model’s loss at a given data point to obtain a measure of the influence of that point on the complexity of the model. In the simplest instantiation, there is only a single regularity tangent vector, of the same dimension as the parameter vector. Thus, in the proposed technique, once training is complete, evaluating our ‘curiosity’ about a potential query data point can be done as quickly as calculating the model’s loss gradient at that point. The new vector only doubles the amount of storage required by the model. We show that the quantity computed by our technique is an example of an ‘influence function’, and that it measures the expected squared change in model complexity incurred by up-weighting a given data point. We propose a number of ways for using this and other related quantities to choose new training data points for a regression model.

arxiv情報

著者 Frederik Eaton
発行日 2025-03-18 15:17:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, math.ST, stat.ML, stat.TH | Influence functions and regularity tangents for efficient active learning はコメントを受け付けていません

Spatio-Temporal Graph Neural Networks for Infant Language Acquisition Prediction

投稿日: 2025年3月19日 作成者: jarxiv

要約

子供が次に学ぶという言葉を予測することは、言語の習得を強化するのに役立つ可能性があり、そのような予測は両方のニューラルネットワーク技術（時間の経過に伴う語彙状態の変化を見る）とグラフモデル（単語間の関係に関するデータを見る）で可能であることが示されています。
ただし、これらのモデルは、単独で使用された場合、乳児の言語学習プロセスの複雑さを完全に捉えていません。
この論文では、幼児および幼児の言語習得のモデルを、児童言語学習中に発生するさまざまなタイプの言語関係を考慮して、時空間グラフ畳み込みネットワーク（STGCN）で使用するために構築および適応できる方法を調べます。
子どもの語彙の獲得を予測するための新しいアプローチを導入し、言語習得中に発生するさまざまなタイプの言語関係に関するそのようなモデルの有効性を評価し、モデルのキャリブレーションとノルム選択に関する洞察に富んだ観察をもたらします。
このモデルの評価では、感覚運動関係（0.733）とセマンティック関係（0.729）を使用する際の新しい単語を予測するためのモデルの平均精度（0.729）は、2層のフィードフォワードニューラルネットワークで観察されたものよりも優れていることがわかったことがわかりました。
さらに、一部の関係の高いリコールは、一部の関係（視覚）が他の関係（聴覚など）よりもその後学習すべき関連する単語のより大きな割合を特定する上で優れていることを示唆しました。

要約(オリジナル)

Predicting the words that a child is going to learn next can be useful for boosting language acquisition, and such predictions have been shown to be possible with both neural network techniques (looking at changes in the vocabulary state over time) and graph model (looking at data pertaining to the relationships between words). However, these models do not fully capture the complexity of the language learning process of an infant when used in isolation. In this paper, we examine how a model of language acquisition for infants and young children can be constructed and adapted for use in a Spatio-Temporal Graph Convolutional Network (STGCN), taking into account the different types of linguistic relationships that occur during child language learning. We introduce a novel approach for predicting child vocabulary acquisition, and evaluate the efficacy of such a model with respect to the different types of linguistic relationships that occur during language acquisition, resulting in insightful observations on model calibration and norm selection. An evaluation of this model found that the mean accuracy of models for predicting new words when using sensorimotor relationships (0.733) and semantic relationships (0.729) were found to be superior to that observed with a 2-layer Feed-forward neural network. Furthermore, the high recall for some relationships suggested that some relationships (e.g. visual) were superior in identifying a larger proportion of relevant words that a child should subsequently learn than others (such as auditory).

arxiv情報

著者 Andrew Roxburgh,Floriana Grasso,Terry R. Payne
発行日 2025-03-18 15:21:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Spatio-Temporal Graph Neural Networks for Infant Language Acquisition Prediction はコメントを受け付けていません

MoonCast: High-Quality Zero-Shot Podcast Generation

投稿日: 2025年3月19日 作成者: jarxiv

要約

テキスト間合成の最近の進歩は、個々のスピーカーの高品質の短い発言を生み出すことに顕著な成功を収めています。
ただし、これらのシステムは、ポッドキャストなどの実際のシナリオに典型的な長い、マルチスピーカー、および自発的な対話に機能を拡張する際に、依然として課題に直面しています。
これらの制限は、2つの主要な課題から生じます。1）長いスピーチ：ポッドキャストは通常​​、ほとんどの既存の作業の上限を超えて数分にわたって及びます。
2）自発性：ポッドキャストは、自発的で口頭での性質によってマークされており、正式な書面による文脈とは対照的です。
既存の作品は、しばしばこの自発性を捉えるのに不十分です。
このホワイトペーパーでは、テキストのみのソース（例：ストーリー、テクニカルレポート、TXT、PDF、またはWeb URL形式のニュース）からの自然なポッドキャストスタイルのスピーチを合成することを目的とした高品質のゼロショットポッドキャストの発電のソリューションであるMoonCastを提案します。
長いオーディオを生成するために、大規模なロングコンテキスト音声データを利用して、長い文字モデルベースのオーディオモデリングアプローチを採用します。
自発性を高めるために、ポッドキャスト生成モジュールを利用して、自発的な詳細を含むスクリプトを生成します。これらは、テキストからスピーチモデリング自体と同じくらい重要であることが経験的に示されています。
実験は、MoonCastがベースラインを上回ることを示しており、特に自発性と一貫性の顕著な改善があります。

要約(オリジナル)

Recent advances in text-to-speech synthesis have achieved notable success in generating high-quality short utterances for individual speakers. However, these systems still face challenges when extending their capabilities to long, multi-speaker, and spontaneous dialogues, typical of real-world scenarios such as podcasts. These limitations arise from two primary challenges: 1) long speech: podcasts typically span several minutes, exceeding the upper limit of most existing work; 2) spontaneity: podcasts are marked by their spontaneous, oral nature, which sharply contrasts with formal, written contexts; existing works often fall short in capturing this spontaneity. In this paper, we propose MoonCast, a solution for high-quality zero-shot podcast generation, aiming to synthesize natural podcast-style speech from text-only sources (e.g., stories, technical reports, news in TXT, PDF, or Web URL formats) using the voices of unseen speakers. To generate long audio, we adopt a long-context language model-based audio modeling approach utilizing large-scale long-context speech data. To enhance spontaneity, we utilize a podcast generation module to generate scripts with spontaneous details, which have been empirically shown to be as crucial as the text-to-speech modeling itself. Experiments demonstrate that MoonCast outperforms baselines, with particularly notable improvements in spontaneity and coherence.

arxiv情報

著者 Zeqian Ju,Dongchao Yang,Jianwei Yu,Kai Shen,Yichong Leng,Zhengtao Wang,Xu Tan,Xinyu Zhou,Tao Qin,Xiangyang Li
発行日 2025-03-18 15:25:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, cs.SD, eess.AS | MoonCast: High-Quality Zero-Shot Podcast Generation はコメントを受け付けていません

IMRL: Integrating Visual, Physical, Temporal, and Geometric Representations for Enhanced Food Acquisition

投稿日: 2025年3月19日 作成者: jarxiv

要約

ロボット支援給餌は、摂食障害のある個人の生活の質を改善するための大きな約束を抱いています。
ただし、さまざまな条件下で多様な食品を獲得し、目に見えない食品に一般化することは、ユニークな課題を提示します。
視覚的な手がかり（例えば、色、形状、テクスチャなど）から導き出された表面レベルの幾何情報（例：境界ボックスやポーズ）に依存する既存の方法には、特に同様の身体的特性を共有するが、視覚的外観が異なる場合、適応性と堅牢性が欠けます。
私たちは模倣学習（IL）を採用して、食品獲得のポリシーを学びます。
既存の方法は、ILまたはRehnection Learning（RL）を使用して、ResNet-50などの既製の画像エンコーダーに基づいてポリシーを学習します。
ただし、そのような表現は堅牢ではなく、多様な買収シナリオ全体に一般化するのに苦労しています。
これらの制限に対処するために、視覚的、物理的、時間的、および幾何学的表現を統合して食品獲得のためのILの堅牢性と一般化可能性を高めるための新しいアプローチIMRL（統合された多次元表現学習）を提案します。
私たちのアプローチは、食物の種類と物理的特性（例えば、固体、半固体、粒状、液体、混合物など）をキャプチャし、取得アクションの一時的なダイナミクスをモデル化し、幾何学的情報を導入して最適なスクープポイントを決定し、ボウルの膨らみを評価します。
IMRLにより、ILはコンテキストに基づいてスクープ戦略を適応的に調整し、多様な食品獲得シナリオを処理するロボットの能力を向上させることができます。
実際のロボットでの実験は、目に見えない設定へのゼロショット一般化を含む、さまざまな食品やボウル構成にわたるアプローチの堅牢性と適応性を示しています。
私たちのアプローチは、最高のパフォーマンスのベースラインと比較して、最大35ドルの成功率の改善を達成します。
詳細については、当社のWebサイトhttps://ruiiu.github.io/imrlをご覧ください。

要約(オリジナル)

Robotic assistive feeding holds significant promise for improving the quality of life for individuals with eating disabilities. However, acquiring diverse food items under varying conditions and generalizing to unseen food presents unique challenges. Existing methods that rely on surface-level geometric information (e.g., bounding box and pose) derived from visual cues (e.g., color, shape, and texture) often lacks adaptability and robustness, especially when foods share similar physical properties but differ in visual appearance. We employ imitation learning (IL) to learn a policy for food acquisition. Existing methods employ IL or Reinforcement Learning (RL) to learn a policy based on off-the-shelf image encoders such as ResNet-50. However, such representations are not robust and struggle to generalize across diverse acquisition scenarios. To address these limitations, we propose a novel approach, IMRL (Integrated Multi-Dimensional Representation Learning), which integrates visual, physical, temporal, and geometric representations to enhance the robustness and generalizability of IL for food acquisition. Our approach captures food types and physical properties (e.g., solid, semi-solid, granular, liquid, and mixture), models temporal dynamics of acquisition actions, and introduces geometric information to determine optimal scooping points and assess bowl fullness. IMRL enables IL to adaptively adjust scooping strategies based on context, improving the robot’s capability to handle diverse food acquisition scenarios. Experiments on a real robot demonstrate our approach’s robustness and adaptability across various foods and bowl configurations, including zero-shot generalization to unseen settings. Our approach achieves improvement up to $35\%$ in success rate compared with the best-performing baseline. More details can be found on our website https://ruiiu.github.io/imrl.

arxiv情報

著者 Rui Liu,Zahiruddin Mahammad,Amisha Bhaskar,Pratap Tokekar
発行日 2025-03-18 15:32:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | IMRL: Integrating Visual, Physical, Temporal, and Geometric Representations for Enhanced Food Acquisition はコメントを受け付けていません

A Conditional Independence Test in the Presence of Discretization

投稿日: 2025年3月19日 作成者: jarxiv

要約

テスト条件付き独立性には、ベイジアンネットワーク学習や因果発見など、多くのアプリケーションがあります。
さまざまなテスト方法が提案されています。
ただし、既存のメソッドは一般に、離散化された観測のみが利用可能な場合には機能しません。
具体的には、$ x_1 $、$ \ tilde {x} _2 $および$ x_3 $が観測される変数であると考えてください。ここで、$ \ tilde {x} _2 $は潜在変数$ x_2 $の離散化です。
$ x_1 $、$ \ tilde {x} _2 $および$ x_3 $の観測に既存のテスト方法を適用すると、変数の根本的な条件付き独立性について誤った結論につながる可能性があります。
これに動機付けられて、私たちは、そのような離散化の存在に対応するように特別に設計された条件付き独立性テストを提案します。
これを実現するために、潜在的な潜在的連続変数の統計情報を反映したパラメーターを回復するためにブリッジ方程式を設計します。
条件付き独立性の帰無仮説の下での適切なテスト統計とその漸近分布も導き出されています。
理論的な結果と実証的検証の両方が提供されており、テスト方法の有効性を実証しています。

要約(オリジナル)

Testing conditional independence has many applications, such as in Bayesian network learning and causal discovery. Different test methods have been proposed. However, existing methods generally can not work when only discretized observations are available. Specifically, consider $X_1$, $\tilde{X}_2$ and $X_3$ are observed variables, where $\tilde{X}_2$ is a discretization of latent variables $X_2$. Applying existing test methods to the observations of $X_1$, $\tilde{X}_2$ and $X_3$ can lead to a false conclusion about the underlying conditional independence of variables $X_1$, $X_2$ and $X_3$. Motivated by this, we propose a conditional independence test specifically designed to accommodate the presence of such discretization. To achieve this, we design the bridge equations to recover the parameter reflecting the statistical information of the underlying latent continuous variables. An appropriate test statistic and its asymptotic distribution under the null hypothesis of conditional independence have also been derived. Both theoretical results and empirical validation have been provided, demonstrating the effectiveness of our test methods.

arxiv情報

著者 Boyang Sun,Yu Yao,Guang-Yuan Hao,Yumou Qiu,Kun Zhang
発行日 2025-03-18 15:55:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | A Conditional Independence Test in the Presence of Discretization はコメントを受け付けていません

Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models

投稿日: 2025年3月19日 作成者: jarxiv

要約

拡散言語モデルは、並列化された生成と制御性の可能性により、自己回帰モデルよりも独自の利点を提供しますが、尤度モデリングに遅れをとっており、固定長の生成に限定されています。
この作業では、離散除去拡散モデルと自己回帰モデルの間を補間するブロック拡散言語モデルのクラスを導入します。
ブロック拡散は、柔軟な長さの生成をサポートし、KVキャッシングと並列トークンサンプリングで推論効率を改善することにより、両方のアプローチの重要な制限を克服します。
効率的なトレーニングアルゴリズム、勾配分散の推定器、および分散を最小限に抑えるデータ駆動型ノイズスケジュールを含む効果的なブロック拡散モデルを構築するためのレシピを提案します。
ブロック拡散は、言語モデリングベンチマークの拡散モデル間で新しい最先端のパフォーマンスを設定し、任意の長さのシーケンスを生成できるようにします。
プロジェクトページのモデルの重みとブログ投稿とともに、コードを提供します：https：//m-arriola.com/bd3lms/

要約(オリジナル)

Diffusion language models offer unique benefits over autoregressive models due to their potential for parallelized generation and controllability, yet they lag in likelihood modeling and are limited to fixed-length generation. In this work, we introduce a class of block diffusion language models that interpolate between discrete denoising diffusion and autoregressive models. Block diffusion overcomes key limitations of both approaches by supporting flexible-length generation and improving inference efficiency with KV caching and parallel token sampling. We propose a recipe for building effective block diffusion models that includes an efficient training algorithm, estimators of gradient variance, and data-driven noise schedules to minimize the variance. Block diffusion sets a new state-of-the-art performance among diffusion models on language modeling benchmarks and enables generation of arbitrary-length sequences. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/bd3lms/

arxiv情報

著者 Marianne Arriola,Aaron Gokaslan,Justin T Chiu,Zhihan Yang,Zhixuan Qi,Jiaqi Han,Subham Sekhar Sahoo,Volodymyr Kuleshov
発行日 2025-03-18 15:58:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models はコメントを受け付けていません