Causal Posterior Estimation

投稿日: 2025年5月28日 作成者: jarxiv

要約

シミュレーターモデルにおけるベイジアン推論の新しい方法である因果後推定（CPE）、つまり、尤度関数の評価が扱いにくい、または計算高すぎるが、パラメーター値を与えられたモデル出力をシミュレートできるモデルを提示します。
CPEは、モデルのグラフィカルな表現によってニューラルネットワークへのグラフィカルな表現によって誘導される条件付き依存構造を慎重に組み込む後方分布の正規化フローベース（NF）近似を利用します。
これにより、近似の精度を改善することができます。
CPEに個別のNFアーキテクチャと連続NFアーキテクチャの両方を導入し、離散NFSのようにサンプルをO（1）に描画する計算の複雑さを減らす連続ケースの一定時間サンプリング手順を提案します。
広範な実験的評価を通じて、グラフィカルモデルによって誘導される条件付き依存性をニューラルネットワークに直接組み込むことにより、データからそれらを学習するのではなく、CPEがフィールドのアートの状態をアウトパフォームまたは照合する非常に正確な事後推論を実行できることを示しています。

要約(オリジナル)

We present Causal Posterior Estimation (CPE), a novel method for Bayesian inference in simulator models, i.e., models where the evaluation of the likelihood function is intractable or too computationally expensive, but where one can simulate model outputs given parameter values. CPE utilizes a normalizing flow-based (NF) approximation to the posterior distribution which carefully incorporates the conditional dependence structure induced by the graphical representation of the model into the neural network. Thereby it is possible to improve the accuracy of the approximation. We introduce both discrete and continuous NF architectures for CPE and propose a constant-time sampling procedure for the continuous case which reduces the computational complexity of drawing samples to O(1) as for discrete NFs. We show, through an extensive experimental evaluation, that by incorporating the conditional dependencies induced by the graphical model directly into the neural network, rather than learning them from data, CPE is able to conduct highly accurate posterior inference either outperforming or matching the state of the art in the field.

arxiv情報

著者 Simon Dirmeier,Antonietta Mira
発行日 2025-05-27 17:41:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Causal Posterior Estimation はコメントを受け付けていません

On the Robustness of Adversarial Training Against Uncertainty Attacks

投稿日: 2025年5月28日 作成者: jarxiv

要約

学習問題では、手元のタスクに固有のノイズは、ある程度の不確実性なしに推測する可能性を妨げます。
この不確実性を定量化することは、その幅広い用途に関係なく、セキュリティに敏感なアプリケーションに高い関連性を想定しています。
これらのシナリオ内では、下流のモジュールが最終的な意思決定プロセスを推進するために安全に採用できる、良好な（つまり、信頼できる）不確実性測定を保証することが基本になります。
ただし、攻撃者は、システムに（i）システムの可用性を危険にさらす非常に不確実な出力または（ii）不確実性の推定値を生成することに関心がある場合があります。
したがって、これらの種類の攻撃に対して堅牢な不確実性の推定値を取得する方法を理解することが基本になります。
この作業では、経験的および理論的には、敵対的な例を防御すること、すなわち誤分類を引き起こす慎重に乱れたサンプルの両方が、アドホック防衛戦略を必要とせずに一般的な攻撃シナリオの下で、より安全で信頼できる不確実性の推定をさらに保証することを明らかにします。
私たちの主張をサポートするために、CIFAR-10およびImagenetデータセットで公開されているベンチマークRobustBenchから複数の敵対的なロボストモデルを評価します。

要約(オリジナル)

In learning problems, the noise inherent to the task at hand hinders the possibility to infer without a certain degree of uncertainty. Quantifying this uncertainty, regardless of its wide use, assumes high relevance for security-sensitive applications. Within these scenarios, it becomes fundamental to guarantee good (i.e., trustworthy) uncertainty measures, which downstream modules can securely employ to drive the final decision-making process. However, an attacker may be interested in forcing the system to produce either (i) highly uncertain outputs jeopardizing the system’s availability or (ii) low uncertainty estimates, making the system accept uncertain samples that would instead require a careful inspection (e.g., human intervention). Therefore, it becomes fundamental to understand how to obtain robust uncertainty estimates against these kinds of attacks. In this work, we reveal both empirically and theoretically that defending against adversarial examples, i.e., carefully perturbed samples that cause misclassification, additionally guarantees a more secure, trustworthy uncertainty estimate under common attack scenarios without the need for an ad-hoc defense strategy. To support our claims, we evaluate multiple adversarial-robust models from the publicly available benchmark RobustBench on the CIFAR-10 and ImageNet datasets.

arxiv情報

著者 Emanuele Ledda,Giovanni Scodeller,Daniele Angioni,Giorgio Piras,Antonio Emanuele Cinà,Giorgio Fumera,Battista Biggio,Fabio Roli
発行日 2025-05-27 17:41:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | On the Robustness of Adversarial Training Against Uncertainty Attacks はコメントを受け付けていません

Guide your favorite protein sequence generative model

投稿日: 2025年5月28日 作成者: jarxiv

要約

シーケンス上の生成機械学習モデルは、タンパク質工学を変換しています。
ただし、プラグアンドプレイの方法で、実験データなどの補助情報にこれらのモデルを条件付けるための原則的なフレームワークは存在しません。
ここでは、単一のフレームワークの下で幅広いクラスのタンパク質生成モデルを統合することにより、条件付けの原則的で一般的な方法であるプロテンシドを提示します。
2つのタンパク質生成モデル、ProteinMpnnとESM3を導くことにより、プロテイングイドの適用可能性を実証し、アミノ酸と構造トークンシーケンスを生成し、安定性、酵素クラス、キャスラベル折り目などのいくつかのユーザー指定特性を条件付けします。
また、逆折りたたみモデルを備えたプロテンシドと、高活性のためにアデニンベースエディターシーケンスを設計するための独自の実験アッセイを使用しました。

要約(オリジナル)

Generative machine learning models on sequences are transforming protein engineering. However, no principled framework exists for conditioning these models on auxiliary information, such as experimental data, in a plug-and-play manner. Herein, we present ProteinGuide — a principled and general method for conditioning — by unifying a broad class of protein generative models under a single framework. We demonstrate the applicability of ProteinGuide by guiding two protein generative models, ProteinMPNN and ESM3, to generate amino acid and structure token sequences, conditioned on several user-specified properties such as enhanced stability, enzyme classes, and CATH-labeled folds. We also used ProteinGuide with inverse folding models and our own experimental assay to design adenine base editor sequences for high activity.

arxiv情報

著者 Junhao Xiong,Hunter Nisonoff,Maria Lukarska,Ishan Gaur,Luke M. Oltrogge,David F. Savage,Jennifer Listgarten
発行日 2025-05-27 17:43:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.BM | Guide your favorite protein sequence generative model はコメントを受け付けていません

Annealing Flow Generative Models Towards Sampling High-Dimensional and Multi-Modal Distributions

投稿日: 2025年5月28日 作成者: jarxiv

要約

高次元のマルチモーダル分布からのサンプリングは、統計的なベイジアン推論や物理学ベースの機械学習などのドメイン間の根本的な課題のままです。
この論文では、高次元およびマルチモーダル分布からサンプリングするための連続正規化フロー（CNF）に構築された方法であるアニーリングフロー（AF）を提案します。
AFは、Wassersteinの正規化を組み込んだ動的な最適輸送（OT）目的で訓練され、アニーリング手順によって導かれ、高次元空間でのモードの効果的な調査を促進します。
最近のNFメソッドと比較して、AFはMCの支援への依存を最小限に抑えて、トレーニングの効率と安定性を大幅に改善します。
特に高次元およびマルチモーダル設定で、さまざまな挑戦的な分布と現実世界のデータセットに関する実験を通じて、最先端の方法と比較して、AFの優れた性能を示します。
また、最も好ましくない分布をサンプリングする可能性を強調しています。

要約(オリジナル)

Sampling from high-dimensional, multi-modal distributions remains a fundamental challenge across domains such as statistical Bayesian inference and physics-based machine learning. In this paper, we propose Annealing Flow (AF), a method built on Continuous Normalizing Flow (CNF) for sampling from high-dimensional and multi-modal distributions. AF is trained with a dynamic Optimal Transport (OT) objective incorporating Wasserstein regularization, and guided by annealing procedures, facilitating effective exploration of modes in high-dimensional spaces. Compared to recent NF methods, AF greatly improves training efficiency and stability, with minimal reliance on MC assistance. We demonstrate the superior performance of AF compared to state-of-the-art methods through experiments on various challenging distributions and real-world datasets, particularly in high-dimensional and multi-modal settings. We also highlight AF potential for sampling the least favorable distributions.

arxiv情報

著者 Dongze Wu,Yao Xie
発行日 2025-05-27 17:47:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.CO, stat.ML | Annealing Flow Generative Models Towards Sampling High-Dimensional and Multi-Modal Distributions はコメントを受け付けていません

Algorithms and SQ Lower Bounds for Robustly Learning Real-valued Multi-index Models

投稿日: 2025年5月28日 作成者: jarxiv

要約

ガウス分布の下で、実質値のマルチインデックスモデル（MIM）を学習する複雑さを研究します。
A $ k $ -Mimは関数$ f：\ mathbb {r}^d \ to \ mathbb {r} $です。
敵対的なラベルノイズが存在する場合でも、四角の損失に関して広範なクラスのMIMを学習するための一般的なアルゴリズムを提供します。
さらに、ほぼ一致する統計クエリ（SQ）の下限を確立し、アルゴリズムの複雑さが次元の関数として定性的に最適であるという証拠を提供します。
具体的には、任意の部分空間への投影に関して、最大$ m $の際立った瞬間が存在するという特性を持つ境界変動MIMのクラスを考慮します。
敵対ラベルノイズの存在下では、学習アルゴリズムの複雑さは$ d^{o（m）} 2^{\ mathrm {poly}（k/\ epsilon）} $です。
実現可能な独立したノイズ設定の場合、アルゴリズムには複雑さ$ d^{o（m）} 2^{\ mathrm {poly}（k）}（1/\ epsilon）^{o（k）} $が発生します。
上限を補完するために、一部の部分空間度-M $の識別モーメントが存在しない場合、対応するクラスのMIMSのSQ学習者は複雑さ$ d^{\ Omega（M）} $を必要とすることを示します。
アプリケーションとして、肯定的な相性$ l $ -lipschitz $ k $ -mimsのクラスの最初の効率的な学習者を提供します。
結果のアルゴリズムには、複雑さ$ \ mathrm {poly}（d）2^{\ mathrm {poly}（kl/\ epsilon）} $があります。
これにより、ネットワークサイズとは無関係に複雑さを備えたLipschitzの均質なリラウネットワークの新しいPAC学習アルゴリズムが提供され、以前の作業で発生した指数依存性が削除されます。

要約(オリジナル)

We study the complexity of learning real-valued Multi-Index Models (MIMs) under the Gaussian distribution. A $K$-MIM is a function $f:\mathbb{R}^d\to \mathbb{R}$ that depends only on the projection of its input onto a $K$-dimensional subspace. We give a general algorithm for PAC learning a broad class of MIMs with respect to the square loss, even in the presence of adversarial label noise. Moreover, we establish a nearly matching Statistical Query (SQ) lower bound, providing evidence that the complexity of our algorithm is qualitatively optimal as a function of the dimension. Specifically, we consider the class of bounded variation MIMs with the property that degree at most $m$ distinguishing moments exist with respect to projections onto any subspace. In the presence of adversarial label noise, the complexity of our learning algorithm is $d^{O(m)}2^{\mathrm{poly}(K/\epsilon)}$. For the realizable and independent noise settings, our algorithm incurs complexity $d^{O(m)}2^{\mathrm{poly}(K)}(1/\epsilon)^{O(K)}$. To complement our upper bound, we show that if for some subspace degree-$m$ distinguishing moments do not exist, then any SQ learner for the corresponding class of MIMs requires complexity $d^{\Omega(m)}$. As an application, we give the first efficient learner for the class of positive-homogeneous $L$-Lipschitz $K$-MIMs. The resulting algorithm has complexity $\mathrm{poly}(d) 2^{\mathrm{poly}(KL/\epsilon)}$. This gives a new PAC learning algorithm for Lipschitz homogeneous ReLU networks with complexity independent of the network size, removing the exponential dependence incurred in prior work.

arxiv情報

著者 Ilias Diakonikolas,Giannis Iakovidis,Daniel M. Kane,Lisheng Ren
発行日 2025-05-27 17:47:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG | Algorithms and SQ Lower Bounds for Robustly Learning Real-valued Multi-index Models はコメントを受け付けていません

Something’s Fishy In The Data Lake: A Critical Re-evaluation of Table Union Search Benchmarks

投稿日: 2025年5月28日 作成者: jarxiv

要約

最近のテーブル表現学習およびデータ発見方法は、データレイク内のテーブルユニオン検索（TUS）に取り組んでいます。
これらの方法は、実際のTUSタスクでの意味的理解を評価することを目的とするベンチマークを使用して一般的に評価されます。
しかし、顕著なTUSベンチマークの分析により、単純なベースラインが驚くほどうまく機能し、より洗練されたアプローチを上回ることができるいくつかの制限が明らかになります。
これは、現在のベンチマークスコアがデータセット固有の特性に大きく影響され、セマンティック理解から利益を効果的に分離できないことを示唆しています。
これに対処するために、セマンティックテーブルユニオン検索の進捗状況のより現実的で信頼できる評価を可能にするために、将来のベンチマークの重要な基準を提案します。

要約(オリジナル)

Recent table representation learning and data discovery methods tackle table union search (TUS) within data lakes, which involves identifying tables that can be unioned with a given query table to enrich its content. These methods are commonly evaluated using benchmarks that aim to assess semantic understanding in real-world TUS tasks. However, our analysis of prominent TUS benchmarks reveals several limitations that allow simple baselines to perform surprisingly well, often outperforming more sophisticated approaches. This suggests that current benchmark scores are heavily influenced by dataset-specific characteristics and fail to effectively isolate the gains from semantic understanding. To address this, we propose essential criteria for future benchmarks to enable a more realistic and reliable evaluation of progress in semantic table union search.

arxiv情報

著者 Allaa Boutaleb,Bernd Amann,Hubert Naacke,Rafael Angarita
発行日 2025-05-27 15:23:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.DB, cs.IR, cs.LG | Something’s Fishy In The Data Lake: A Critical Re-evaluation of Table Union Search Benchmarks はコメントを受け付けていません

PEDANTIC: A Dataset for the Automatic Examination of Definiteness in Patent Claims

投稿日: 2025年5月28日 作成者: jarxiv

要約

特許請求は、発明の保護範囲を定義します。
請求に曖昧さがある場合、それは特許局によって拒否されます。
米国では、これは不定（35 U.S.C {\ s} 112（b））と呼ばれ、特許適用拒否の最も頻繁な理由の1つです。
特許明確性試験のための自動方法の開発は、特許の起草と検査をより効率的にする可能性がありますが、これまでに注釈付きのデータセットは公開されていません。
We introduce PEDANTIC (\underline{P}at\underline{e}nt \underline{D}efiniteness Ex\underline{a}mi\underline{n}a\underline{ti}on \underline{C}orpus), a novel dataset of 14k US patent claims from patent applications relating to Natural Language Processing (NLP),
不明確性の理由で注釈が付けられています。
USPTOからオフィスアクションドキュメントを取得し、大規模な言語モデル（LLM）を使用して不明確性の理由を抽出する完全に自動パイプラインを使用してPedanticを構築します。
人間の検証研究では、高品質の注釈を生成する際のパイプラインの精度を確認しています。
バイナリ分類メトリックを超えて洞察を得るために、すべてのモデル引用された理由の自由形式の推論をすべての審査官引用理由と比較するLLM-As-Judge評価を実装します。
QWEN 2.5 32Bおよび72Bに基づくLLMエージェントは、根本的な理由を正しく特定しているにもかかわらず、明確さ予測のロジスティック回帰ベースラインを上回るのに苦労していることを示しています。
Pedanticは、特許AIの研究者に貴重なリソースを提供し、高度な検査モデルの開発を可能にします。
データセットとコードを公開します。

要約(オリジナル)

Patent claims define the scope of protection for an invention. If there are ambiguities in a claim, it is rejected by the patent office. In the US, this is referred to as indefiniteness (35 U.S.C {\S} 112(b)) and is among the most frequent reasons for patent application rejection. The development of automatic methods for patent definiteness examination has the potential to make patent drafting and examination more efficient, but no annotated dataset has been published to date. We introduce PEDANTIC (\underline{P}at\underline{e}nt \underline{D}efiniteness Ex\underline{a}mi\underline{n}a\underline{ti}on \underline{C}orpus), a novel dataset of 14k US patent claims from patent applications relating to Natural Language Processing (NLP), annotated with reasons for indefiniteness. We construct PEDANTIC using a fully automatic pipeline that retrieves office action documents from the USPTO and uses Large Language Models (LLMs) to extract the reasons for indefiniteness. A human validation study confirms the pipeline’s accuracy in generating high-quality annotations. To gain insight beyond binary classification metrics, we implement an LLM-as-Judge evaluation that compares the free-form reasoning of every model-cited reason with every examiner-cited reason. We show that LLM agents based on Qwen 2.5 32B and 72B struggle to outperform logistic regression baselines on definiteness prediction, even though they often correctly identify the underlying reasons. PEDANTIC provides a valuable resource for patent AI researchers, enabling the development of advanced examination models. We will publicly release the dataset and code.

arxiv情報

著者 Valentin Knappich,Annemarie Friedrich,Anna Hätty,Simon Razniewski
発行日 2025-05-27 15:34:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | PEDANTIC: A Dataset for the Automatic Examination of Definiteness in Patent Claims はコメントを受け付けていません

The Multilingual Divide and Its Impact on Global AI Safety

投稿日: 2025年5月28日 作成者: jarxiv

要約

近年の大規模な言語モデル能力の進歩にもかかわらず、比較的少数の世界的に支配的な言語を超えて、多くの言語の能力と安全性能に大きなギャップが残っています。
このホワイトペーパーは、研究者、政策立案者、ガバナンスの専門家に、AIの「言語ギャップ」を埋め、言語間の安全リスクを最小限に抑えるための重要な課題の概要を提供します。
AIの言語ギャップが存在し成長する理由と、グローバルなAIの安全性に格差を生み出す理由の分析を提供します。
これらの課題に対処するための障壁を特定し、ポリシーとガバナンスで働く人々が、多言語のデータセットの作成、透明性、および研究をサポートすることにより、言語のギャップに関連する安全性の懸念にどのように対処できるかを推奨します。

要約(オリジナル)

Despite advances in large language model capabilities in recent years, a large gap remains in their capabilities and safety performance for many languages beyond a relatively small handful of globally dominant languages. This paper provides researchers, policymakers and governance experts with an overview of key challenges to bridging the ‘language gap’ in AI and minimizing safety risks across languages. We provide an analysis of why the language gap in AI exists and grows, and how it creates disparities in global AI safety. We identify barriers to address these challenges, and recommend how those working in policy and governance can help address safety concerns associated with the language gap by supporting multilingual dataset creation, transparency, and research.

arxiv情報

著者 Aidan Peppin,Julia Kreutzer,Alice Schoenauer Sebag,Kelly Marchisio,Beyza Ermis,John Dang,Samuel Cahyawijaya,Shivalika Singh,Seraphina Goldfarb-Tarrant,Viraat Aryabumi,Aakanksha,Wei-Yin Ko,Ahmet Üstün,Matthias Gallé,Marzieh Fadaee,Sara Hooker
発行日 2025-05-27 15:37:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | The Multilingual Divide and Its Impact on Global AI Safety はコメントを受け付けていません

Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning

投稿日: 2025年5月28日 作成者: jarxiv

要約

ベンガル語の数学の問題の問題（MWPS）の解決は、言語のリソースの低い状態と必要なマルチステップの推論により、自然言語処理（NLP）の大きな課題のままです。
既存のモデルは複雑なベンガル語MWPと格闘しています。これは、主に人間が注目したベンガル語のデータセットが以前にこのタスクに対処していないためです。
このギャップは、ベンガルの数学的推論における進歩が限られています。
これに対処するために、手動で書かれた段階的なソリューションを備えた8792の複雑なベンガルMWPのデータセットであるSomadhanを作成しました。
言語的に過小評価されているコンテキストで、推論に焦点を合わせた評価とモデル開発をサポートするためにこのデータセットを設計しました。
Somadhanを使用して、GPT-4O、GPT-3.5 Turbo、Llamaシリーズモデル、DeepSeek、Qwenなど、さまざまな大規模な言語モデル（LLMS）を評価しました。
COTプロンプトは、特にマルチステップロジックを必要とするタスクで、標準プロンプトのパフォーマンスを一貫して改善しました。
Llama-3.3 70bは、少ないショットのベッドプロンプトで88％の最高精度を達成しました。
また、低ランクの適応（LORA）を適用してモデルを効率的に微調整し、最小限の計算コストでベンガルMWPに適応できるようにしました。
私たちの仕事は、高品質の推論データセットと複雑なMWPを解くためのスケーラブルなフレームワークを提供することにより、ベンガルNLPの重要なギャップを埋めます。
私たちは、低リソース言語で公平な研究を進め、教育および言語技術の推論能力を強化することを目指しています。

要約(オリジナル)

Solving Bengali Math Word Problems (MWPs) remains a major challenge in natural language processing (NLP) due to the language’s low-resource status and the multi-step reasoning required. Existing models struggle with complex Bengali MWPs, largely because no human-annotated Bengali dataset has previously addressed this task. This gap has limited progress in Bengali mathematical reasoning. To address this, we created SOMADHAN, a dataset of 8792 complex Bengali MWPs with manually written, step-by-step solutions. We designed this dataset to support reasoning-focused evaluation and model development in a linguistically underrepresented context. Using SOMADHAN, we evaluated a range of large language models (LLMs) – including GPT-4o, GPT-3.5 Turbo, LLaMA series models, Deepseek, and Qwen – through both zero-shot and few-shot prompting with and without Chain of Thought (CoT) reasoning. CoT prompting consistently improved performance over standard prompting, especially in tasks requiring multi-step logic. LLaMA-3.3 70B achieved the highest accuracy of 88% with few-shot CoT prompting. We also applied Low-Rank Adaptation (LoRA) to fine-tune models efficiently, enabling them to adapt to Bengali MWPs with minimal computational cost. Our work fills a critical gap in Bengali NLP by providing a high-quality reasoning dataset and a scalable framework for solving complex MWPs. We aim to advance equitable research in low-resource languages and enhance reasoning capabilities in educational and language technologies.

arxiv情報

著者 Bidyarthi Paul,Jalisha Jashim Era,Mirazur Rahman Zim,Tahmid Sattar Aothoi,Faisal Muhammad Shah
発行日 2025-05-27 15:47:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning はコメントを受け付けていません

Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers

投稿日: 2025年5月28日 作成者: jarxiv

要約

過去10年間で、さまざまな研究で、スピーカーがいわゆる「パラダイムセル充填問題」（PCFP）\ citep {ackerman2009parts）をさまざまな言語でどのように解決するかについて説明しています。
PCFPは、形態的処理における基本的な問題に対処します。スピーカーは、不完全なパラダイムで提示されたときに、どのようにして屈折した形式の単語を正確に生成するのですか？
この問題は、複雑な屈折システムをモデル化する場合に特に顕著です。
特定の動詞が不規則なL字型パターンに従うスペイン語の口頭パラダイムに焦点を当てます。ここでは、一人称単数形の存在が現在の符号化されたムードを通して使用されている茎と一致します。
問題を形態学的再発タスクとして定式化します。
具体的には、トランスモデルの通常と不規則なL字型パターンの取得における入力頻度の役割を調査します。
入力分布を体系的に操作し、モデルの動作を分析することにより、4つの重要な調査結果を明らかにします。1）モデルは、特に不均一な周波数条件で、通常の動詞と比較してL字型動詞でより良く機能します。
2）堅牢な優位効果が観察されますが、一貫した最新性の影響はありません。
3）L字型動詞の割合が増加するにつれて、暗記はより顕著になります。
4）トレーニングデータにはまれまたは存在しない場合、L字型動詞を正規化する傾向があります。

要約(オリジナル)

Over the past decade, various studies have addressed how speakers solve the so-called `The Paradigm Cell Filling Problem’ (PCFP) \citep{ackerman2009parts} across different languages. The PCFP addresses a fundamental question in morphological processing: how do speakers accurately generate inflected forms of words when presented with incomplete paradigms? This problem is particularly salient when modeling complex inflectional systems. We focus on Spanish verbal paradigms, where certain verbs follow an irregular L-shaped pattern, where the first-person singular present indicative stem matches the stem used throughout the present subjunctive mood. We formulate the problem as a morphological reinflection task. Specifically, we investigate the role of input frequency in the acquisition of regular versus irregular L-shaped patterns in transformer models. By systematically manipulating the input distributions and analyzing model behavior, we reveal four key findings: 1) Models perform better on L-shaped verbs compared to regular verbs, especially in uneven frequency conditions; 2) Robust primacy effects are observed, but no consistent recency effects; 3) Memorization becomes more prominent as the proportion of L-shaped verbs increases; 4) There is a tendency to regularize L-shaped verbs when their consonant alternation pairs are rare or absent in the training data.

arxiv情報

著者 Akhilesh Kakolu Ramarao,Kevin Tang,Dinah Baer-Henney
発行日 2025-05-27 15:48:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers はコメントを受け付けていません