Incentive-Aware Machine Learning; Robustness, Fairness, Improvement & Causality

投稿日: 2025年5月9日 作成者: jarxiv

要約

この記事では、個人が結果に影響を与えるために入力を戦略的に変更できるコンテキストでのアルゴリズムの意思決定に焦点を当てたインセンティブアウェア機械学習（ML）の新しい領域を調査します。
研究を3つの視点に分類します。「ゲーム」に回復力のあるモデルを設計することを目的とした堅牢性。
公平性、そのようなシステムの社会的影響を分析する。
そして改善/因果関係、戦略的行動が真の個人的または社会的改善につながる状況を認識する。
このペーパーでは、オフライン、オンライン、因果関係を含むこれらの視点のモデルをカプセル化する統一されたフレームワークを紹介し、ゲームと改善の差別化とエージェント間の不均一性への対処などの重要な課題を強調しています。
多様な作品からの調査結果を統合することにより、堅牢で公正なインセンティブに基づいたMLシステムのための理論的進歩と実用的なソリューションの概要を説明します。

要約(オリジナル)

The article explores the emerging domain of incentive-aware machine learning (ML), which focuses on algorithmic decision-making in contexts where individuals can strategically modify their inputs to influence outcomes. It categorizes the research into three perspectives: robustness, aiming to design models resilient to ‘gaming’; fairness, analyzing the societal impacts of such systems; and improvement/causality, recognizing situations where strategic actions lead to genuine personal or societal improvement. The paper introduces a unified framework encapsulating models for these perspectives, including offline, online, and causal settings, and highlights key challenges such as differentiating between gaming and improvement and addressing heterogeneity among agents. By synthesizing findings from diverse works, we outline theoretical advancements and practical solutions for robust, fair, and causally-informed incentive-aware ML systems.

arxiv情報

著者 Chara Podimata
発行日 2025-05-08 13:04:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.GT | Incentive-Aware Machine Learning; Robustness, Fairness, Improvement & Causality はコメントを受け付けていません

Approximate Lifted Model Construction

投稿日: 2025年5月9日 作成者: jarxiv

要約

パラメトリックファクターグラフなどの確率的リレーショナルモデルは、オブジェクトの区別可能性を悪用することにより、効率的（持ち上げられた）推論を可能にします。
持ち上げられた推論では、区別できないオブジェクトの代表が計算に使用されます。
リレーショナル（つまり、持ち上げられた）表現を取得するために、高度な色の通過（ACP）アルゴリズムが最先端です。
ただし、ACPアルゴリズムでは、潜在的なベースの因子としてエンコードされた根本的な分布が必要であり、不動の区別機能を識別および悪用するために正確に一致します。
したがって、ACPは、関連するオブジェクトが区別できない場合でも、データから学習する可能性が必然的に逸脱する実用的なアプリケーションには適さない。
この問題を軽減するために、$ \ varepsilon $ advanced Color pass（$ \ varepsilon $ -ACP）アルゴリズムを紹介します。
$ \ varepsilon $ -ACPは、正確ではない差し止め能力を効率的に明らかにし、悪用します。
$ \ varepsilon $ -ACPによって誘導される近似誤差が厳密に境界が付けられていることを証明し、私たちの実験では、近似誤差が実際にはゼロに近いことを示しています。

要約(オリジナル)

Probabilistic relational models such as parametric factor graphs enable efficient (lifted) inference by exploiting the indistinguishability of objects. In lifted inference, a representative of indistinguishable objects is used for computations. To obtain a relational (i.e., lifted) representation, the Advanced Colour Passing (ACP) algorithm is the state of the art. The ACP algorithm, however, requires underlying distributions, encoded as potential-based factorisations, to exactly match to identify and exploit indistinguishabilities. Hence, ACP is unsuitable for practical applications where potentials learned from data inevitably deviate even if associated objects are indistinguishable. To mitigate this problem, we introduce the $\varepsilon$-Advanced Colour Passing ($\varepsilon$-ACP) algorithm, which allows for a deviation of potentials depending on a hyperparameter $\varepsilon$. $\varepsilon$-ACP efficiently uncovers and exploits indistinguishabilities that are not exact. We prove that the approximation error induced by $\varepsilon$-ACP is strictly bounded and our experiments show that the approximation error is close to zero in practice.

arxiv情報

著者 Malte Luttermann,Jan Speller,Marcel Gehrke,Tanya Braun,Ralf Möller,Mattis Hartwig
発行日 2025-05-08 13:18:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DS, cs.LG | Approximate Lifted Model Construction はコメントを受け付けていません

Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning

投稿日: 2025年5月9日 作成者: jarxiv

要約

組み合わせたアルゴリズムの選択とハイパーパラメーターの最適化（現金）は、Automlの分野での挑戦的なリソース割り当ての問題です。
Maxucbは、さまざまなモデルクラスの探索とハイパーパラメーターの最適化を実施するためのトレードオフをオフにするために、Maxucbを提案します。
Maxucbは、この設定で発生するライトテールと境界のある報酬分布用に特別に設計されているため、重い尾の報酬分布を想定して、古典的なMax $ k $ armed Banditメソッドと比較して効率的な代替手段を提供します。
私たちは、4つの標準的なAutomlベンチマークでの方法を理論的および経験的に評価し、以前のアプローチよりも優れたパフォーマンスを示しています。

要約(オリジナル)

The Combined Algorithm Selection and Hyperparameter optimization (CASH) is a challenging resource allocation problem in the field of AutoML. We propose MaxUCB, a max $k$-armed bandit method to trade off exploring different model classes and conducting hyperparameter optimization. MaxUCB is specifically designed for the light-tailed and bounded reward distributions arising in this setting and, thus, provides an efficient alternative compared to classic max $k$-armed bandit methods assuming heavy-tailed reward distributions. We theoretically and empirically evaluate our method on four standard AutoML benchmarks, demonstrating superior performance over prior approaches.

arxiv情報

著者 Amir Rezaei Balef,Claire Vernade,Katharina Eggensperger
発行日 2025-05-08 13:18:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning はコメントを受け付けていません

ChemRxivQuest: A Curated Chemistry Question-Answer Database Extracted from ChemRxiv Preprints

投稿日: 2025年5月9日 作成者: jarxiv

要約

化学文献の急速な拡大は、ドメイン固有の知識に効率的にアクセスしようとする研究者に大きな課題をもたらします。
化学に焦点を当てた自然言語処理（NLP）の進歩をサポートするために、Chemrxivquestを提示します。これは、17のChemRXIVプリプリントから派生した970の高品質の質問回答（QA）ペアのキュレーションデータセットです。
各QAペアは、トレーサビリティとコンテキスト精度を確保するために、そのソーステキストセグメントに明示的にリンクされています。
Chemrxivquestは、光学文字認識（OCR）、GPT-4OベースのQA生成、および回答検証のためのファジーマッチング手法を組み合わせた自動パイプラインを使用して構築されました。
データセットは、概念的、機械的、応用、および実験的な質問を強調し、検索ベースのQAシステム、検索エンジン開発、およびドメインに適応した大規模な言語モデルの微調整を可能にします。
データセットの構造、カバレッジ、制限を分析し、拡張と専門家の検証のための将来の方向性の概要を説明します。
Chemrxivquestは、化学NLP研究、教育、ツール開発の基礎リソースを提供します。

要約(オリジナル)

The rapid expansion of chemistry literature poses significant challenges for researchers seeking to efficiently access domain-specific knowledge. To support advancements in chemistry-focused natural language processing (NLP), we present ChemRxivQuest, a curated dataset of 970 high-quality question-answer (QA) pairs derived from 155 ChemRxiv preprints across 17 subfields of chemistry. Each QA pair is explicitly linked to its source text segment to ensure traceability and contextual accuracy. ChemRxivQuest was constructed using an automated pipeline that combines optical character recognition (OCR), GPT-4o-based QA generation, and a fuzzy matching technique for answer verification. The dataset emphasizes conceptual, mechanistic, applied, and experimental questions, enabling applications in retrieval-based QA systems, search engine development, and fine-tuning of domain-adapted large language models. We analyze the dataset’s structure, coverage, and limitations, and outline future directions for expansion and expert validation. ChemRxivQuest provides a foundational resource for chemistry NLP research, education, and tool development.

arxiv情報

著者 Mahmoud Amiri,Thomas Bocklitz
発行日 2025-05-08 13:26:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | ChemRxivQuest: A Curated Chemistry Question-Answer Database Extracted from ChemRxiv Preprints はコメントを受け付けていません

Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation

投稿日: 2025年5月9日 作成者: jarxiv

要約

ディープニューラルネットワーク（DNNS）の正式な検証（FV）の従来の方法は、安全性のバイナリエンコードによって制約されます。モデルは安全性または安全でない（堅牢または堅牢）として分類されます。
このバイナリエンコーディングは、モデル内の微妙な安全レベルをキャプチャできず、多くの場合、過度に制限的または寛容すぎる要件をもたらします。
このホワイトペーパーでは、抽象的なDNN検証と呼ばれる新しい問題定式化を紹介します。これは、安全でない出力の階層構造を検証し、特定のDNNの安全性のより詳細な分析を提供します。
重要なことは、出力の到達可能なセットに関する抽象的な解釈と推論を活用することにより、私たちのアプローチにより、FVプロセス中に複数の安全レベルを評価することができます。
具体的には、この定式化により、抽象的な安全レベルの違反に応じて敵対的な入力がどのように可能かを示し、モデルの安全性と堅牢性のより詳細な評価を提供します。
私たちの貢献には、我々の新しい抽象的な安全策定と、堅牢性の検証のために抽象的な解釈を採用する既存のアプローチ、導入された新規問題の複雑さ分析、および複雑なディープ強化学習タスク（生息地3.0に基づく）と標準的なDNN検証ベンチマークの両方を考慮した経験的評価との関係の理論的調査が含まれます。

要約(オリジナル)

Traditional methods for formal verification (FV) of deep neural networks (DNNs) are constrained by a binary encoding of safety properties, where a model is classified as either safe or unsafe (robust or not robust). This binary encoding fails to capture the nuanced safety levels within a model, often resulting in either overly restrictive or too permissive requirements. In this paper, we introduce a novel problem formulation called Abstract DNN-Verification, which verifies a hierarchical structure of unsafe outputs, providing a more granular analysis of the safety aspect for a given DNN. Crucially, by leveraging abstract interpretation and reasoning about output reachable sets, our approach enables assessing multiple safety levels during the FV process, requiring the same (in the worst case) or even potentially less computational effort than the traditional binary verification approach. Specifically, we demonstrate how this formulation allows rank adversarial inputs according to their abstract safety level violation, offering a more detailed evaluation of the model’s safety and robustness. Our contributions include a theoretical exploration of the relationship between our novel abstract safety formulation and existing approaches that employ abstract interpretation for robustness verification, complexity analysis of the novel problem introduced, and an empirical evaluation considering both a complex deep reinforcement learning task (based on Habitat 3.0) and standard DNN-Verification benchmarks.

arxiv情報

著者 Luca Marzari,Isabella Mastroeni,Alessandro Farinelli
発行日 2025-05-08 13:29:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Advancing Neural Network Verification through Hierarchical Safety Abstract Interpretation はコメントを受け付けていません

Jailbreaking and Mitigation of Vulnerabilities in Large Language Models

投稿日: 2025年5月9日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、自然言語の理解と生成を進めることにより、人工知能を変革し、ヘルスケア、ソフトウェアエンジニアリング、会話システムを超えた分野全体のアプリケーションを可能にしました。
過去数年間のこれらの進歩にもかかわらず、LLMは、特に迅速な注入と侵入攻撃に対して、かなりの脆弱性を示してきました。
このレビューは、これらの脆弱性に関する研究の状態を分析し、利用可能な防衛戦略を提示します。
攻撃アプローチを、敵対的なプロンプトニング、バックドアインジェクション、クロスモダリティエクスプロイトなど、攻撃アプローチをプロンプトベース、モデルベース、マルチモーダル、多言語のカバーテクニックに分類します。
また、迅速なフィルタリング、変換、アライメントテクニック、マルチエージェント防御、自己規制など、さまざまな防御メカニズムをレビューし、その強みと欠点を評価します。
また、LLMの安全性と堅牢性を評価するために使用される主要なメトリックとベンチマークについても説明し、既存のデータセットのインタラクティブなコンテキストやバイアスでの攻撃の成功の定量化などの課題に注目します。
現在の研究のギャップを特定すると、回復力のあるアライメント戦略、進化する攻撃に対する高度な防御、脱獄の検出の自動化、および倫理的および社会的影響の考慮の将来の方向性を提案します。
このレビューは、LLMセキュリティを強化し、安全な展開を確保するために、AIコミュニティ内で継続的な研究と協力の必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) have transformed artificial intelligence by advancing natural language understanding and generation, enabling applications across fields beyond healthcare, software engineering, and conversational systems. Despite these advancements in the past few years, LLMs have shown considerable vulnerabilities, particularly to prompt injection and jailbreaking attacks. This review analyzes the state of research on these vulnerabilities and presents available defense strategies. We roughly categorize attack approaches into prompt-based, model-based, multimodal, and multilingual, covering techniques such as adversarial prompting, backdoor injections, and cross-modality exploits. We also review various defense mechanisms, including prompt filtering, transformation, alignment techniques, multi-agent defenses, and self-regulation, evaluating their strengths and shortcomings. We also discuss key metrics and benchmarks used to assess LLM safety and robustness, noting challenges like the quantification of attack success in interactive contexts and biases in existing datasets. Identifying current research gaps, we suggest future directions for resilient alignment strategies, advanced defenses against evolving attacks, automation of jailbreak detection, and consideration of ethical and societal impacts. This review emphasizes the need for continued research and cooperation within the AI community to enhance LLM security and ensure their safe deployment.

arxiv情報

著者 Benji Peng,Keyu Chen,Qian Niu,Ziqian Bi,Ming Liu,Pohsun Feng,Tianyang Wang,Lawrence K. Q. Yan,Yizhu Wen,Yichao Zhang,Caitlyn Heqi Yin
発行日 2025-05-08 13:35:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | Jailbreaking and Mitigation of Vulnerabilities in Large Language Models はコメントを受け付けていません

Generating Symbolic World Models via Test-time Scaling of Large Language Models

投稿日: 2025年5月9日 作成者: jarxiv

要約

複雑な計画の問題を解決するには、規則違反を回避し、制約を順守し、自然言語の固有の曖昧さによって妨げられているタスクを妨げる最適性を確保するために、州の移行を明示的にモデル化するために、大規模な言語モデル（LLM）が必要です。
このような曖昧さを克服するために、計画ドメイン定義言語（PDDL）は、正確かつ正式な状態の説明を可能にする計画抽象として活用されています。
PDDLを使用すると、A*などの古典的な検索アルゴリズムをシームレスに適用して最適な計画を見つけることができるシンボリックワールドモデルを生成できます。
ただし、PDDLトレーニングデータが不足しているため、現在のLLMを使用してPDDLドメインを直接生成することは、未解決の課題のままです。
この課題に対処するために、LLMSのテスト時間計算をスケールアップしてPDDLの推論機能を強化し、それによって高品質のPDDLドメインの生成を可能にすることを提案します。
具体的には、最初に初期ソリューションの品質を向上させるためにベストアンドサンプリングアプローチを採用し、次に言語化された機械学習で微調整された方法でソリューションを改良するシンプルでありながら効果的なアルゴリズムを導入します。
私たちの方法は、PDDLドメインの生成にかなりのマージンでO1-MINIを上回り、2つのタスクで50を超える成功率を達成します（つまり、自然言語の記述またはPDDL問題からPDDLドメインを生成します）。
これは、追加のトレーニングを必要とせずに行われます。
PDDLを状態の抽象化として利用することにより、私たちの方法は、ほぼすべての競争レベルの計画タスクで現在の最先端の方法を上回ることができます。

要約(オリジナル)

Solving complex planning problems requires Large Language Models (LLMs) to explicitly model the state transition to avoid rule violations, comply with constraints, and ensure optimality-a task hindered by the inherent ambiguity of natural language. To overcome such ambiguity, Planning Domain Definition Language (PDDL) is leveraged as a planning abstraction that enables precise and formal state descriptions. With PDDL, we can generate a symbolic world model where classic searching algorithms, such as A*, can be seamlessly applied to find optimal plans. However, directly generating PDDL domains with current LLMs remains an open challenge due to the lack of PDDL training data. To address this challenge, we propose to scale up the test-time computation of LLMs to enhance their PDDL reasoning capabilities, thereby enabling the generation of high-quality PDDL domains. Specifically, we introduce a simple yet effective algorithm, which first employs a Best-of-N sampling approach to improve the quality of the initial solution and then refines the solution in a fine-grained manner with verbalized machine learning. Our method outperforms o1-mini by a considerable margin in the generation of PDDL domains, achieving over 50\% success rate on two tasks (i.e., generating PDDL domains from natural language description or PDDL problems). This is done without requiring additional training. By taking advantage of PDDL as state abstraction, our method is able to outperform current state-of-the-art methods on almost all competition-level planning tasks.

arxiv情報

著者 Zhouliang Yu,Yuhuan Yuan,Tim Z. Xiao,Fuxiang Frank Xia,Jie Fu,Ge Zhang,Ge Lin,Weiyang Liu
発行日 2025-05-08 13:42:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Generating Symbolic World Models via Test-time Scaling of Large Language Models はコメントを受け付けていません

FLARE: A Framework for Stellar Flare Forecasting using Stellar Physical Properties and Historical Records

投稿日: 2025年5月9日 作成者: jarxiv

要約

恒星フレアイベントは、天文学研究のための重要な観察サンプルです。
ただし、記録されたフレアイベントは限られたままです。
恒星のフレア予測は、研究の取り組みをサポートするために追加のフレアイベントサンプルを提供できます。
この可能性にもかかわらず、これまでに恒星フレア予測の特殊なモデルは提案されていません。
この論文では、恒星の物理的特性と履歴フレアレコードの両方がフレア予測タスクの貴重な入力であることを実証する広範な実験的証拠を提示します。
次に、フレア（機能アンサンブルを介してライトカーブベースの天文レコードを予測する）を紹介します。
フレアは、新しいソフトプロンプトモジュールと残差レコード融合モジュールを通じて、恒星の物理的特性と履歴フレアレコードを統合します。
公開されているケプラーライトカーブデータセットに関する実験は、フレアがすべての評価メトリックにわたって他の方法と比較して優れたパフォーマンスを達成することを示しています。
最後に、包括的なケーススタディを通じてモデルの予測機能を検証します。

要約(オリジナル)

Stellar flare events are critical observational samples for astronomical research; however, recorded flare events remain limited. Stellar flare forecasting can provide additional flare event samples to support research efforts. Despite this potential, no specialized models for stellar flare forecasting have been proposed to date. In this paper, we present extensive experimental evidence demonstrating that both stellar physical properties and historical flare records are valuable inputs for flare forecasting tasks. We then introduce FLARE (Forecasting Light-curve-based Astronomical Records via features Ensemble), the first-of-its-kind large model specifically designed for stellar flare forecasting. FLARE integrates stellar physical properties and historical flare records through a novel Soft Prompt Module and Residual Record Fusion Module. Our experiments on the publicly available Kepler light curve dataset demonstrate that FLARE achieves superior performance compared to other methods across all evaluation metrics. Finally, we validate the forecast capability of our model through a comprehensive case study.

arxiv情報

著者 Bingke Zhu,Xiaoxiao Wang,Minghui Jia,Yihan Tao,Xiao Kong,Ali Luo,Yingying Chen,Ming Tang,Jinqiao Wang
発行日 2025-05-08 13:59:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: astro-ph.IM, astro-ph.SR, cs.AI | FLARE: A Framework for Stellar Flare Forecasting using Stellar Physical Properties and Historical Records はコメントを受け付けていません

Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration

投稿日: 2025年5月9日 作成者: jarxiv

要約

通信能力のない分散型部分的に観察可能な環境で協力することを学ぶことは、マルチエージェントディープ補強学習（MARL）に大きな課題をもたらします。
このペーパーでは、このドメインの重要な懸念に対処し、個々のエージェントの観察からの状態表現を推測し、これらの表現を活用してエージェントの探索と共同タスクの実行ポリシーを強化します。
この目的のために、私たちは協同組合のMARLの新しい状態モデリングフレームワークを提案します。ここでは、エージェントが独自のポリシーを最適化することに関して、非存在状態の意味のある信念表現を推測し、冗長で有益でない共同の状態情報をフィルタリングします。
このフレームワークに基づいて、MARL SMPEアルゴリズムを提案します。
SMPEでは、エージェントは部分的な観察性の下で独自の政策の差別能力を高め、彼らの信念を政策ネットワークに組み込むことにより、明示的に、そしてエージェントが他者の差別的能力を​​改善しながら、エージェントが斬新で高価値の状態を発見することを奨励する敵対的なタイプの探査政策を採用することにより、暗黙的に強化します。
実験的に、SMPEは、MPE、LBF、およびRwareベンチマークからの複雑な完全協力タスクで、最先端のMARLアルゴリズムを上回ることを示しています。

要約(オリジナル)

Learning to cooperate in distributed partially observable environments with no communication abilities poses significant challenges for multi-agent deep reinforcement learning (MARL). This paper addresses key concerns in this domain, focusing on inferring state representations from individual agent observations and leveraging these representations to enhance agents’ exploration and collaborative task execution policies. To this end, we propose a novel state modelling framework for cooperative MARL, where agents infer meaningful belief representations of the non-observable state, with respect to optimizing their own policies, while filtering redundant and less informative joint state information. Building upon this framework, we propose the MARL SMPE algorithm. In SMPE, agents enhance their own policy’s discriminative abilities under partial observability, explicitly by incorporating their beliefs into the policy network, and implicitly by adopting an adversarial type of exploration policies which encourages agents to discover novel, high-value states while improving the discriminative abilities of others. Experimentally, we show that SMPE outperforms state-of-the-art MARL algorithms in complex fully cooperative tasks from the MPE, LBF, and RWARE benchmarks.

arxiv情報

著者 Andreas Kontogiannis,Konstantinos Papathanasiou,Yi Shen,Giorgos Stamou,Michael M. Zavlanos,George Vouros
発行日 2025-05-08 14:07:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.MA | Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration はコメントを受け付けていません

T-T: Table Transformer for Tagging-based Aspect Sentiment Triplet Extraction

投稿日: 2025年5月9日 作成者: jarxiv

要約

アスペクトセンチメントトリプレット抽出（ASTE）は、与えられた文からのアスペクト用語、意見用語、および感情の極性で構成されるトリプレットを抽出することを目的としています。
テーブルタグ付け方法は、このタスクに対処するための一般的なアプローチであり、文を2次元テーブルにエンコードし、2つの単語間の関係のタグを付けることができます。
以前の取り組みは、さまざまな下流の関係学習モジュールを設計して、テーブルのトークン間の相互作用をより適切にキャプチャすることに焦点を当てており、関係をキャプチャするより強力な能力がモデルの改善につながる可能性があることを明らかにしています。
これに動機付けられていると、トランス層を下流の関係学習モジュールとして直接利用しようとします。
トランスの強力なセマンティックモデリング機能により、これが優れた改善につながることが予見可能です。
ただし、テーブルの長さと入力文シーケンスの長さとの間の二次関係により、トランスを使用すると、2つの課題に直接直面します。
これらの課題に対処するために、タグ付けベースのASTEメソッドの新しいテーブルトランスフォーカー（T-T）を提案します。
具体的には、これらの課題に取り組むために、ループシフト戦略を備えたストライプの注意メカニズムを導入します。
前者は、グローバルな注意メカニズムを修正して、2次元のローカルな注意ウィンドウにのみ注意を払っていますが、後者は異なる注意ウィンドウ間の相互作用を促進します。
広範で包括的な実験は、下流の関係学習モジュールとしてのT-Tが、計算コストを削減して最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Aspect sentiment triplet extraction (ASTE) aims to extract triplets composed of aspect terms, opinion terms, and sentiment polarities from given sentences. The table tagging method is a popular approach to addressing this task, which encodes a sentence into a 2-dimensional table, allowing for the tagging of relations between any two words. Previous efforts have focused on designing various downstream relation learning modules to better capture interactions between tokens in the table, revealing that a stronger capability to capture relations can lead to greater improvements in the model. Motivated by this, we attempt to directly utilize transformer layers as downstream relation learning modules. Due to the powerful semantic modeling capability of transformers, it is foreseeable that this will lead to excellent improvement. However, owing to the quadratic relation between the length of the table and the length of the input sentence sequence, using transformers directly faces two challenges: overly long table sequences and unfair local attention interaction. To address these challenges, we propose a novel Table-Transformer (T-T) for the tagging-based ASTE method. Specifically, we introduce a stripe attention mechanism with a loop-shift strategy to tackle these challenges. The former modifies the global attention mechanism to only attend to a 2-dimensional local attention window, while the latter facilitates interaction between different attention windows. Extensive and comprehensive experiments demonstrate that the T-T, as a downstream relation learning module, achieves state-of-the-art performance with lower computational costs.

arxiv情報

著者 Kun Peng,Chaodong Tong,Cong Cao,Hao Peng,Qian Li,Guanlin Wu,Lei Jiang,Yanbing Liu,Philip S. Yu
発行日 2025-05-08 14:17:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | T-T: Table Transformer for Tagging-based Aspect Sentiment Triplet Extraction はコメントを受け付けていません