Multi-Domain ABSA Conversation Dataset Generation via LLMs for Real-World Evaluation and Model Comparison

投稿日: 2025年6月2日 作成者: jarxiv

要約

アスペクトベースのセンチメント分析（ABSA）は、意見に対する詳細な洞察を提供しますが、多くの場合、実際の会話のニュアンスを反映する多様でラベル付けされたデータセットの希少性に苦しんでいます。
このペーパーでは、このギャップに対処するために大規模な言語モデル（LLMS）を使用して合成ABSAデータを生成するためのアプローチを紹介します。
GPT-4Oを使用して、複数のドメインにわたって一貫したトピックと感情分布を使用してデータを生成することを目的とした生成プロセスを詳述します。
生成されたデータの品質とユーティリティは、トピックおよびセンチメント分類タスクに関する3つの最先端のLLM（Gemini 1.5 Pro、Claude 3.5 Sonnet、およびDeepseek-R1）のパフォーマンスを評価することにより評価されました。
我々の結果は、合成データの有効性を示し、モデル間の明確なパフォーマンスのトレードオフを明らかにします：DeepSeekr1はより高い精度を示し、Gemini 1.5 ProとClaude 3.5 Sonnetが強力なリコールを示し、Gemini 1.5 Proは非常に速い推論を提供しました。
LLMベースの合成データ生成は、貴重なABSAリソースを作成するための実行可能で柔軟な方法であり、限られたまたはアクセスできない実際の世界ラベル付きデータに依存せずに研究とモデルの評価を促進するための方法であると結論付けています。

要約(オリジナル)

Aspect-Based Sentiment Analysis (ABSA) offers granular insights into opinions but often suffers from the scarcity of diverse, labeled datasets that reflect real-world conversational nuances. This paper presents an approach for generating synthetic ABSA data using Large Language Models (LLMs) to address this gap. We detail the generation process aimed at producing data with consistent topic and sentiment distributions across multiple domains using GPT-4o. The quality and utility of the generated data were evaluated by assessing the performance of three state-of-the-art LLMs (Gemini 1.5 Pro, Claude 3.5 Sonnet, and DeepSeek-R1) on topic and sentiment classification tasks. Our results demonstrate the effectiveness of the synthetic data, revealing distinct performance trade-offs among the models: DeepSeekR1 showed higher precision, Gemini 1.5 Pro and Claude 3.5 Sonnet exhibited strong recall, and Gemini 1.5 Pro offered significantly faster inference. We conclude that LLM-based synthetic data generation is a viable and flexible method for creating valuable ABSA resources, facilitating research and model evaluation without reliance on limited or inaccessible real-world labeled data.

arxiv情報

著者 Tejul Pandit,Meet Raval,Dhvani Upadhyay
発行日 2025-05-30 15:24:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Multi-Domain ABSA Conversation Dataset Generation via LLMs for Real-World Evaluation and Model Comparison はコメントを受け付けていません

On Symmetric Losses for Robust Policy Optimization with Noisy Preferences

投稿日: 2025年6月2日 作成者: jarxiv

要約

人間の好みに基づいてポリシーを最適化することは、言語モデルを人間の意図に合わせるための鍵です。
この作業は、報酬モデリング、人間のフィードバック（RLHF）からの強化学習のコアコンポーネント、および直接優先最適化などのオフライン優先最適化に焦点を当てています。
通常、従来のアプローチは正確な注釈を想定しています。
ただし、現実世界の選好データには、多くの場合、ヒューマンエラーやバイアスによるノイズが含まれています。
騒々しい好みの下で堅牢なポリシー最適化のための原則的なフレームワークを提案し、報酬モデリングを分類問題と見なします。
これにより、堅牢性が分類でノイズにラベルを付けることで知られている対称損失を活用して、対称設定最適化（Sympo）メソッドにつながります。
対称的な損失は、結果として得られる報酬がランク摂取のままであるため、ポリシーの改善に十分なプロパティであるため、騒々しいラベルの下でもポリシーの最適化を成功させることができることを証明しています。
合成および実世界のタスクに関する実験は、Sympoの有効性を示しています。

要約(オリジナル)

Optimizing policies based on human preferences is key to aligning language models with human intent. This work focuses on reward modeling, a core component in reinforcement learning from human feedback (RLHF), and offline preference optimization, such as direct preference optimization. Conventional approaches typically assume accurate annotations. However, real-world preference data often contains noise due to human errors or biases. We propose a principled framework for robust policy optimization under noisy preferences, viewing reward modeling as a classification problem. This allows us to leverage symmetric losses, known for their robustness to label noise in classification, leading to our Symmetric Preference Optimization (SymPO) method. We prove that symmetric losses enable successful policy optimization even under noisy labels, as the resulting reward remains rank-preserving — a property sufficient for policy improvement. Experiments on synthetic and real-world tasks demonstrate the effectiveness of SymPO.

arxiv情報

著者 Soichiro Nishimori,Yu-Jie Zhang,Thanawat Lodkaew,Masashi Sugiyama
発行日 2025-05-30 15:30:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | On Symmetric Losses for Robust Policy Optimization with Noisy Preferences はコメントを受け付けていません

Causal-aware Large Language Models: Enhancing Decision-Making Through Learning, Adapting and Acting

投稿日: 2025年6月2日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、モデル内に保存されている膨大な量の知識のために、意思決定に大きな可能性を示しています。
ただし、これらの事前に訓練されたモデルは、推論能力が欠けている傾向があり、新しい環境に適応することは困難であり、複雑な現実世界のタスクへの応用をさらに妨げています。
人間の認知プロセスに触発されたこれらの課題に対処するために、因果関係のLLMを提案します。これは、構造因果モデル（SCM）を意思決定プロセスに統合して、「学習を適応する」パラダイムで環境の構造化された知識をモデル化、更新、および利用します。
具体的には、学習段階では、まずLLMを利用して、環境固有の因果エンティティとその因果関係を抽出して、環境の構造化された因果モデルを初期化します。
その後、適応段階で、因果介入のアイデアを介して、環境に関する外部フィードバックを通じて構造化された因果モデルを更新します。
最後に、演技段階で、因果関係のLLMは、強化学習エージェントを介したより効率的な政策決定のために構造化された因果知識を活用します。
上記のプロセスは因果的な知識を学ぶために繰り返し実行され、最終的に因果関係のLLMが環境を​​より正確に理解し、より効率的な決定を下すことができます。
Open-Worldゲーム内の22の多様なタスクにわたる実験結果「Crafter」は、提案された方法の有効性を検証します。

要約(オリジナル)

Large language models (LLMs) have shown great potential in decision-making due to the vast amount of knowledge stored within the models. However, these pre-trained models are prone to lack reasoning abilities and are difficult to adapt to new environments, further hindering their application to complex real-world tasks. To address these challenges, inspired by the human cognitive process, we propose Causal-aware LLMs, which integrate the structural causal model (SCM) into the decision-making process to model, update, and utilize structured knowledge of the environment in a “learning-adapting-acting’ paradigm. Specifically, in the learning stage, we first utilize an LLM to extract the environment-specific causal entities and their causal relations to initialize a structured causal model of the environment. Subsequently,in the adapting stage, we update the structured causal model through external feedback about the environment, via an idea of causal intervention. Finally, in the acting stage, Causal-aware LLMs exploit structured causal knowledge for more efficient policy-making through the reinforcement learning agent. The above processes are performed iteratively to learn causal knowledge, ultimately enabling the causal-aware LLMs to achieve a more accurate understanding of the environment and make more efficient decisions. Experimental results across 22 diverse tasks within the open-world game “Crafter’ validate the effectiveness of our proposed method.

arxiv情報

著者 Wei Chen,Jiahao Zhang,Haipeng Zhu,Boyan Xu,Zhifeng Hao,Keli Zhang,Junjian Ye,Ruichu Cai
発行日 2025-05-30 15:30:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Causal-aware Large Language Models: Enhancing Decision-Making Through Learning, Adapting and Acting はコメントを受け付けていません

CoRet: Improved Retriever for Code Editing

投稿日: 2025年6月2日 作成者: jarxiv

要約

この論文では、コードセマンティクス、リポジトリ構造、コールグラフ依存関係を統合するコード編集タスク用に設計された密な検索モデルであるCoretを紹介します。
このモデルは、新機能の実装やバグの修正などの自然言語クエリに基づいて、コードリポジトリの関連部分を取得することに焦点を当てています。
これらの取得コードチャンクは、ユーザーまたは2番目のコード編集モデルまたはエージェントに提示できます。
コレットを訓練するために、リポジトリレベルの検索用に明示的に設計された損失関数を提案します。
SWEベンチおよびロングコードアリーナのバグローカリゼーションデータセットでは、モデルが既存のモデルより少なくとも15パーセントポイントだけ検索リコールを改善し、これらの結果を達成する上で重要性を示すために設計の選択肢を除去することを示します。

要約(オリジナル)

In this paper, we introduce CoRet, a dense retrieval model designed for code-editing tasks that integrates code semantics, repository structure, and call graph dependencies. The model focuses on retrieving relevant portions of a code repository based on natural language queries such as requests to implement new features or fix bugs. These retrieved code chunks can then be presented to a user or to a second code-editing model or agent. To train CoRet, we propose a loss function explicitly designed for repository-level retrieval. On SWE-bench and Long Code Arena’s bug localisation datasets, we show that our model substantially improves retrieval recall by at least 15 percentage points over existing models, and ablate the design choices to show their importance in achieving these results.

arxiv情報

著者 Fabio Fehr,Prabhu Teja Sivaprasad,Luca Franceschi,Giovanni Zappella
発行日 2025-05-30 15:36:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | CoRet: Improved Retriever for Code Editing はコメントを受け付けていません

Towards Scalable Schema Mapping using Large Language Models

投稿日: 2025年6月2日 作成者: jarxiv

要約

多数の多様なソースから情報を統合する必要性は、データ統合システムに大きなスケーラビリティの課題をもたらします。
これらのシステムは、多くの場合、手動で書かれたスキーママッピングに依存しています。これらは、ソースが進化するにつれて複雑でソース固有で、維持するのに費用がかかります。
最近の進歩は、大規模な言語モデル（LLM）が構造と自然のキューの両方を活用することでスキーマの一致を自動化するのに役立つことを示唆していますが、重要な課題は残っています。
このホワイトペーパーでは、スキーママッピングにLLMを使用することに関する3つのコア問題を特定します。（1）入力フレーズと構造に対する感度による一貫性のない出力を特定します。これは、サンプリングと集約技術を通じて対処する方法を提案します。
（2）LLMSの限られたコンテキストウィンドウに負担をかけるより表現力豊かなマッピング（例：GLAV）の必要性。
（3）繰り返されるLLMコールの計算コスト。これは、データ型の予測などの戦略を通じて軽減することを提案します。

要約(オリジナル)

The growing need to integrate information from a large number of diverse sources poses significant scalability challenges for data integration systems. These systems often rely on manually written schema mappings, which are complex, source-specific, and costly to maintain as sources evolve. While recent advances suggest that large language models (LLMs) can assist in automating schema matching by leveraging both structural and natural language cues, key challenges remain. In this paper, we identify three core issues with using LLMs for schema mapping: (1) inconsistent outputs due to sensitivity to input phrasing and structure, which we propose methods to address through sampling and aggregation techniques; (2) the need for more expressive mappings (e.g., GLaV), which strain the limited context windows of LLMs; and (3) the computational cost of repeated LLM calls, which we propose to mitigate through strategies like data type prefiltering.

arxiv情報

著者 Christopher Buss,Mahdis Safari,Arash Termehchy,Stefan Lee,David Maier
発行日 2025-05-30 15:36:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DB | Towards Scalable Schema Mapping using Large Language Models はコメントを受け付けていません

Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models

投稿日: 2025年6月2日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、コヒーレントテキストを生成し、コンテキストを理解し、推論タスクを実行するための強力なツールとして浮上しています。
しかし、彼らは一時的な推論と格闘しているため、イベントシーケンス、期間、時代間の関係などの時間関連情報を処理する必要があります。
これらの機能は、質問応答、スケジューリング、履歴分析などのアプリケーションにとって重要です。
この論文では、タイムライン構造と反復自己反省を組み合わせたマルチステージプロセスを通じてLLMの時間的推論能力を高める新しいフレームワークであるTiserを紹介します。
私たちのアプローチは、テスト時間スケーリングを活用して、推論トレースの長さを拡張し、モデルが複雑な時間的依存性をより効果的にキャプチャできるようにします。
この戦略は、推論の正確性を高めるだけでなく、推論プロセスのトレーサビリティを改善します。
実験結果は、分散除外テストセットを含む複数のベンチマークにわたる最先端のパフォーマンスを示し、Tiserにより、より小さなオープンソースモデルが、挑戦的な時間的推論タスクでより大きな閉鎖重量モデルを上回ることができることを明らかにします。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools for generating coherent text, understanding context, and performing reasoning tasks. However, they struggle with temporal reasoning, which requires processing time-related information such as event sequencing, durations, and inter-temporal relationships. These capabilities are critical for applications including question answering, scheduling, and historical analysis. In this paper, we introduce TISER, a novel framework that enhances the temporal reasoning abilities of LLMs through a multi-stage process that combines timeline construction with iterative self-reflection. Our approach leverages test-time scaling to extend the length of reasoning traces, enabling models to capture complex temporal dependencies more effectively. This strategy not only boosts reasoning accuracy but also improves the traceability of the inference process. Experimental results demonstrate state-of-the-art performance across multiple benchmarks, including out-of-distribution test sets, and reveal that TISER enables smaller open-source models to surpass larger closed-weight models on challenging temporal reasoning tasks.

arxiv情報

著者 Adrián Bazaga,Rexhina Blloshmi,Bill Byrne,Adrià de Gispert
発行日 2025-05-30 15:37:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models はコメントを受け付けていません

HELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts

投稿日: 2025年6月2日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、ドメイン全体のテキストモデリングタスクで大きな成功を示しています。
ただし、自然言語は、固有のセマンティック階層と微妙な幾何学的構造を示しています。これは、ユークリッド作戦に依存しているため、現在のLLMは完全にはキャプチャしません。
また、最近の研究では、トークン埋め込みのジオメトリを尊重しないと、訓練の不安定性と生成能力の分解につながることが示されています。
これらの調査結果は、非ユークリッドの幾何学にシフトすることで、言語モデルが基礎となるテキストの幾何学をより適切に調整できることを示唆しています。
したがって、私たちは、その広大でスケールフリーで、低耐性の低い特性で知られる双曲線空間で完全に動作することを提案します。
したがって、双曲線の大型言語モデルのファミリーであるヘルムを紹介し、表現の柔軟性、必要な操作の欠落セット、既存の双曲線LMSのスケーラビリティの低下に対処するトランスベースのLLMの幾何学的再考を提供します。
さらに、混合混合専門家モデルであるヘルムマイスを紹介します。ここでは、各専門家が異なる曲率空間で動作し、テキストからより微調整された幾何学的構造と密なモデル、Helm-Dをエンコードします。
ヘルムマスの場合、効率的で低いKVキャッシュトレーニングと推論のために、双曲線マルチヘッド潜在的注意（HMLA）をさらに開発します。
両方のモデルについて、回転位置エンコーディングとRMS正規化の必須双曲線同等物を開発します。
私たちは、10億パラメータースケールで完全な双曲線LLMSを最初に訓練し、MMLUやARCなどのよく知られたベンチマークでそれらを評価し、STEM問題解決、一般的な知識、および常識的な推論にまたがります。
私たちの結果は、LlamaとDeepseekで使用されているユークリッドアーキテクチャよりも、最大4％のヘルムアーキテクチャから一貫した利益を示しており、大規模なLM前脱出における双曲線ジオメトリによってもたらされる有効性と強化された推論を強調しています。

要約(オリジナル)

Large language models (LLMs) have shown great success in text modeling tasks across domains. However, natural language exhibits inherent semantic hierarchies and nuanced geometric structure, which current LLMs do not capture completely owing to their reliance on Euclidean operations. Recent studies have also shown that not respecting the geometry of token embeddings leads to training instabilities and degradation of generative capabilities. These findings suggest that shifting to non-Euclidean geometries can better align language models with the underlying geometry of text. We thus propose to operate fully in Hyperbolic space, known for its expansive, scale-free, and low-distortion properties. We thus introduce HELM, a family of HypErbolic Large Language Models, offering a geometric rethinking of the Transformer-based LLM that addresses the representational inflexibility, missing set of necessary operations, and poor scalability of existing hyperbolic LMs. We additionally introduce a Mixture-of-Curvature Experts model, HELM-MICE, where each expert operates in a distinct curvature space to encode more fine-grained geometric structure from text, as well as a dense model, HELM-D. For HELM-MICE, we further develop hyperbolic Multi-Head Latent Attention (HMLA) for efficient, reduced-KV-cache training and inference. For both models, we develop essential hyperbolic equivalents of rotary positional encodings and RMS normalization. We are the first to train fully hyperbolic LLMs at billion-parameter scale, and evaluate them on well-known benchmarks such as MMLU and ARC, spanning STEM problem-solving, general knowledge, and commonsense reasoning. Our results show consistent gains from our HELM architectures — up to 4% — over popular Euclidean architectures used in LLaMA and DeepSeek, highlighting the efficacy and enhanced reasoning afforded by hyperbolic geometry in large-scale LM pretraining.

arxiv情報

著者 Neil He,Rishabh Anand,Hiren Madhu,Ali Maatouk,Smita Krishnaswamy,Leandros Tassiulas,Menglin Yang,Rex Ying
発行日 2025-05-30 15:42:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | HELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts はコメントを受け付けていません

Exact Algorithms for Multiagent Path Finding with Communication Constraints on Tree-Like Structures

投稿日: 2025年6月2日 作成者: jarxiv

要約

複数のエージェントが衝突を避けながら、それぞれがエンディング位置に向かって最適な方法で移動する必要があるシナリオを考えてみましょう。
最適には、可能な限り速く意味し、これは提案されたソリューションのメイクスパンとして知られる尺度によって評価されます。
これは、マルチエージェントパスの発見問題で調査された設定です。
この作業では、さらにエージェントに互いに通信する方法を提供します。
サイズの制約により、各エージェントの通信の範囲が制限されると仮定することは合理的です。
さらに、コミュニケーションのバックボーンを維持するためのエージェントの軌跡は何ですか？
この作業では、パラメーター化された複雑さフレームワークの下で、通信制約問題を伴うマルチエージェントパスの発見を研究します。
私たちの主な貢献は、入力ネットワークの特定の構造を検討するときに効率的な3つの正確なアルゴリズムです。
通信範囲とエージェントの数（MASMSPAN RESP。）が入力に提供され、ネットワークにはツリートポロジー、または境界の最大度（つまり、境界幅）がある場合、ケースにそのようなアルゴリズムを提供します。
Makepanが$ 3 $で、通信範囲が1ドルであっても、エージェントの数を入力の一部として考慮する際に、効率的なアルゴリズムを構築する可能性が非常に低いことを示すことにより、これらの結果を補完します。

要約(オリジナル)

Consider the scenario where multiple agents have to move in an optimal way through a network, each one towards their ending position while avoiding collisions. By optimal, we mean as fast as possible, which is evaluated by a measure known as the makespan of the proposed solution. This is the setting studied in the Multiagent Path Finding problem. In this work, we additionally provide the agents with a way to communicate with each other. Due to size constraints, it is reasonable to assume that the range of communication of each agent will be limited. What should be the trajectories of the agents to, additionally, maintain a backbone of communication? In this work, we study the Multiagent Path Finding with Communication Constraint problem under the parameterized complexity framework. Our main contribution is three exact algorithms that are efficient when considering particular structures for the input network. We provide such algorithms for the case when the communication range and the number of agents (the makespan resp.) are provided in the input and the network has a tree topology, or bounded maximum degree (has a tree-like topology, i.e., bounded treewidth resp.). We complement these results by showing that it is highly unlikely to construct efficient algorithms when considering the number of agents as part of the input, even if the makespan is $3$ and the communication range is $1$.

arxiv情報

著者 Foivos Fioravantes,Dušan Knop,Jan Matyáš Křišťan,Nikolaos Melissinos,Michal Opler
発行日 2025-05-30 16:14:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CC | Exact Algorithms for Multiagent Path Finding with Communication Constraints on Tree-Like Structures はコメントを受け付けていません

Don’t Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation

投稿日: 2025年6月2日 作成者: jarxiv

要約

この作業では、テキストの特定の属性を強調表示して、ユーザーの指示に適応する動的なテキスト埋め込みを生成する命令に従うテキスト埋め込みという名前の重要なタスクを調査します。
最近の進歩にもかかわらず、既存のアプローチは、新しい指導ごとにコーパス全体を再エンコードする必要があるため、重要な計算オーバーヘッドに悩まされています。
この課題に対処するために、ガイド付きスペース変換に基づいて、新しい指導に従うテキスト埋め込みフレームワークであるGSTRANSFORMを提案します。
私たちの重要な観察は、命令関連情報は本質的に一般的な埋め込みでエンコードされているが、十分に活用されていないことです。
各命令のコーパスを繰り返しエンコードする代わりに、GSTRANSFORMは、命令範囲のラベル注釈を備えた少量のテキストデータに導かれ、ユーザー命令に合わせて事前に計算された埋め込みをリアルタイムで適応させる軽量変換メカニズムです。
9つの現実世界のデータセットにわたって3つの命令認識下流タスクで広範な実験を実施し、GSTRANSFORMが最先端の方法で品質を埋め込む命令に応じたテキストを改善しながら、大規模なデータセットでのリアルタイム処理で6〜300Xの劇的なスピードアップを達成することを実証します。
ソースコードは、https：//github.com/ingchaojiefeng/gstransformで入手できます。

要約(オリジナル)

In this work, we investigate an important task named instruction-following text embedding, which generates dynamic text embeddings that adapt to user instructions, highlighting specific attributes of text. Despite recent advancements, existing approaches suffer from significant computational overhead, as they require re-encoding the entire corpus for each new instruction. To address this challenge, we propose GSTransform, a novel instruction-following text embedding framework based on Guided Space Transformation. Our key observation is that instruction-relevant information is inherently encoded in generic embeddings but remains underutilized. Instead of repeatedly encoding the corpus for each instruction, GSTransform is a lightweight transformation mechanism that adapts pre-computed embeddings in real time to align with user instructions, guided by a small amount of text data with instruction-focused label annotation. We conduct extensive experiments on three instruction-awareness downstream tasks across nine real-world datasets, demonstrating that GSTransform improves instruction-following text embedding quality over state-of-the-art methods while achieving dramatic speedups of 6~300x in real-time processing on large-scale datasets. The source code is available at https://github.com/YingchaojieFeng/GSTransform.

arxiv情報

著者 Yingchaojie Feng,Yiqun Sun,Yandong Sun,Minfeng Zhu,Qiang Huang,Anthony K. H. Tung,Wei Chen
発行日 2025-05-30 16:16:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Don’t Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation はコメントを受け付けていません

Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients

投稿日: 2025年6月2日 作成者: jarxiv

要約

データ駆動型の数学的表現の発見の堅牢性と解釈可能性を高めるために、新しい深い象徴的回帰アプローチを提案します。
私たちの作業は、事前に守られたモデルや追加の検索または計画手順に依存することなく、データ固有の表現ジェネレーターの学習に焦点を当てた人気のあるDSRフレームワークと一致しています。
既存のDSRメソッドの成功にもかかわらず、それらは再発性ニューラルネットワークに基づいて構築され、データフィットネスによって導かれ、ポリシー勾配をゼロにする可能性のあるテールバリアを潜在的に満たし、非効率的なモデルの更新を引き起こす可能性があります。
これらの制限を克服するために、周波数ドメインで注意を払うデコーダーのみのアーキテクチャを設計し、レイヤーワイズ生成を実施するためにエンコードするデュアルインデックスの位置を導入します。
第二に、明示的なマニュアルチューニングを必要とせずに、表現の複雑さとデータフィットネスのトレードオフを自動的に調整できるベイジアン情報基準（BIC）ベースの報酬機能を提案します。
第三に、尾の障壁を排除し、トレーニングの有効性を高めるランキングベースの加重ポリシー更新方法を開発します。
広範なベンチマークと体系的な実験は、私たちのアプローチの利点を示しています。

要約(オリジナル)

We propose a novel deep symbolic regression approach to enhance the robustness and interpretability of data-driven mathematical expression discovery. Our work is aligned with the popular DSR framework which focuses on learning a data-specific expression generator, without relying on pretrained models or additional search or planning procedures. Despite the success of existing DSR methods, they are built on recurrent neural networks, solely guided by data fitness, and potentially meet tail barriers that can zero out the policy gradient, causing inefficient model updates. To overcome these limitations, we design a decoder-only architecture that performs attention in the frequency domain and introduce a dual-indexed position encoding to conduct layer-wise generation. Second, we propose a Bayesian information criterion (BIC)-based reward function that can automatically adjust the trade-off between expression complexity and data fitness, without the need for explicit manual tuning. Third, we develop a ranking-based weighted policy update method that eliminates the tail barriers and enhances training effectiveness. Extensive benchmarks and systematic experiments demonstrate the advantages of our approach.

arxiv情報

著者 Zachary Bastiani,Robert M. Kirby,Jacob Hochhalter,Shandian Zhe
発行日 2025-05-30 16:19:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients はコメントを受け付けていません