TCAN: Text-oriented Cross Attention Network for Multimodal Sentiment Analysis

投稿日: 2025年4月24日 作成者: jarxiv

要約

マルチモーダル感情分析（MSA）は、言語、視覚、音響のモダリティを活用することにより、人間の感情を理解するよう努めています。
以前のMSAアプローチによって示された驚くべきパフォーマンスにもかかわらず、固有のマルチモーダル不均一性の存在は課題をもたらし、異なるモダリティの貢献度はかなり異なります。
過去の研究は、主に表現学習技術の改善と特徴融合戦略に焦点を当てていました。
しかし、これらの努力の多くは、異なるモダリティ間の意味的な豊かさの変動を見落とし、各モダリティを均一に扱いました。
このアプローチは、弱いモダリティの重要性を強調しすぎて、強いモダリティの重要性を過小評価することにつながる可能性があります。
これらの洞察に動機付けられて、MSAにおけるテキストモダリティの主な役割を強調し、テキスト指向のクロスアテンションネットワーク（TCAN）を紹介します。
具体的には、各マルチモーダルサンプルについて、3つのモダリティの無整合シーケンスを入力として使用することにより、最初に抽出されたユニモーダル機能を視覚テキストとアコーステキストペアに割り当てます。
その後、テキストのモダリティに自己関節を実装し、視覚的および音響モダリティにテキストQuarsedの相互告知を適用します。
ノイズ信号と冗長機能の影響を緩和するために、ゲート制御メカニズムをフレームワークに組み込みます。
さらに、バックプロパゲーションを通じて多様なモダリティ全体で均一な感情的傾向をより深く理解するために、単峰性の共同学習を導入します。
実験結果は、TCANが2つのデータセット（CMU-MOSIおよびCMU-MOSEI）で一貫して最先端のMSAメソッドを上回ることを示しています。

要約(オリジナル)

Multimodal Sentiment Analysis (MSA) endeavors to understand human sentiment by leveraging language, visual, and acoustic modalities. Despite the remarkable performance exhibited by previous MSA approaches, the presence of inherent multimodal heterogeneities poses a challenge, with the contribution of different modalities varying considerably. Past research predominantly focused on improving representation learning techniques and feature fusion strategies. However, many of these efforts overlooked the variation in semantic richness among different modalities, treating each modality uniformly. This approach may lead to underestimating the significance of strong modalities while overemphasizing the importance of weak ones. Motivated by these insights, we introduce a Text-oriented Cross-Attention Network (TCAN), emphasizing the predominant role of the text modality in MSA. Specifically, for each multimodal sample, by taking unaligned sequences of the three modalities as inputs, we initially allocate the extracted unimodal features into a visual-text and an acoustic-text pair. Subsequently, we implement self-attention on the text modality and apply text-queried cross-attention to the visual and acoustic modalities. To mitigate the influence of noise signals and redundant features, we incorporate a gated control mechanism into the framework. Additionally, we introduce unimodal joint learning to gain a deeper understanding of homogeneous emotional tendencies across diverse modalities through backpropagation. Experimental results demonstrate that TCAN consistently outperforms state-of-the-art MSA methods on two datasets (CMU-MOSI and CMU-MOSEI).

arxiv情報

著者 Weize Quan,Yunfei Feng,Ming Zhou,Yunzhen Zhao,Tong Wang,Dong-Ming Yan
発行日 2025-04-23 07:56:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.MM | TCAN: Text-oriented Cross Attention Network for Multimodal Sentiment Analysis はコメントを受け付けていません

Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence

投稿日: 2025年4月24日 作成者: jarxiv

要約

推論モデルの最近の進歩は、特に詳細かつ包括的な推論プロセスを採用することにより、特に数学的推論などの複雑なタスクの精度の大幅な改善を実証しています。
ただし、これらの長い推論シーケンスを生成することは、計算的に高価で時間がかかります。
この非効率性に対処するために、特定のタスクの固有の並列性を活用して、推論プロセスを加速します。
具体的には、複数の並列推論ブランチが存在する場合、特殊な注意マスクを使用してステップごとに複数のトークンをデコードし、それらを単一のシーケンス内で処理し、追加のメモリ使用量を回避します。
実験結果は、私たちの方法が、答えの品質を維持しながら、デコード時間で100％以上のスピードアップを達成することを示しています。

要約(オリジナル)

Recent advances in reasoning models have demonstrated significant improvements in accuracy, particularly for complex tasks such as mathematical reasoning, by employing detailed and comprehensive reasoning processes. However, generating these lengthy reasoning sequences is computationally expensive and time-consuming. To address this inefficiency, we leverage the inherent parallelizability of certain tasks to accelerate the reasoning process. Specifically, when multiple parallel reasoning branches exist, we decode multiple tokens per step using a specialized attention mask, processing them within a single sequence, avoiding additional memory usage. Experimental results show that our method achieves over 100% speedup in decoding time while maintaining the answer quality.

arxiv情報

著者 Yijiong Yu
発行日 2025-04-23 07:58:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence はコメントを受け付けていません

QuaDMix: Quality-Diversity Balanced Data Selection for Efficient LLM Pretraining

投稿日: 2025年4月24日 作成者: jarxiv

要約

品質と多様性は、大規模な言語モデル（LLM）のトレーニングデータの2つの重要なメトリックであり、パフォーマンスにプラスの影響を与えます。
既存の研究は、多くの場合、これらのメトリックを個別に最適化します。通常、最初に品質フィルタリングを適用し、次にデータの割合を調整することにより。
ただし、これらのアプローチは、品質と多様性の間の固有のトレードオフを見落としているため、共同考慮事項が必要です。
固定トレーニングクォータを考えると、各データポイントの品質とデータセット全体に対するその補完的な効果の両方を評価することが不可欠です。
このホワイトペーパーでは、Quadmixと呼ばれる統一されたデータ選択フレームワークを紹介します。これは、品質と多様性の両方のバランスをとりながら、LLM Pretrainingのデータ分布を自動的に最適化します。
具体的には、最初にデータの品質を測定し、ドメイン分類を採用してデータポイントを区別し、それによって全体的な多様性を測定する複数の基準を提案します。
Quadmixは、これらの品質と多様性関連のラベルに基づいて、各データポイントのサンプリング確率を決定する統合されたパラメーター化されたデータサンプリング関数を採用します。
Quadmixフレームワークに関連する最適なパラメーターの検索を加速するために、小型モデルでシミュレートされた実験を実施し、RegMixメソッドに触発されたパラメーター検索にLightGBMを使用します。
多様なモデルとデータセットにわたる実験は、Quadmixが複数のベンチマークで7.2％の平均パフォーマンス改善を達成することを示しています。
これらの結果は、品質と多様性のための独立した戦略を上回り、データの質と多様性のバランスをとる必要性と能力を強調しています。

要約(オリジナル)

Quality and diversity are two critical metrics for the training data of large language models (LLMs), positively impacting performance. Existing studies often optimize these metrics separately, typically by first applying quality filtering and then adjusting data proportions. However, these approaches overlook the inherent trade-off between quality and diversity, necessitating their joint consideration. Given a fixed training quota, it is essential to evaluate both the quality of each data point and its complementary effect on the overall dataset. In this paper, we introduce a unified data selection framework called QuaDMix, which automatically optimizes the data distribution for LLM pretraining while balancing both quality and diversity. Specifically, we first propose multiple criteria to measure data quality and employ domain classification to distinguish data points, thereby measuring overall diversity. QuaDMix then employs a unified parameterized data sampling function that determines the sampling probability of each data point based on these quality and diversity related labels. To accelerate the search for the optimal parameters involved in the QuaDMix framework, we conduct simulated experiments on smaller models and use LightGBM for parameters searching, inspired by the RegMix method. Our experiments across diverse models and datasets demonstrate that QuaDMix achieves an average performance improvement of 7.2% across multiple benchmarks. These results outperform the independent strategies for quality and diversity, highlighting the necessity and ability to balance data quality and diversity.

arxiv情報

著者 Fengze Liu,Weidong Zhou,Binbin Liu,Zhimiao Yu,Yifan Zhang,Haobin Lin,Yifeng Yu,Xiaohuan Zhou,Taifeng Wang,Yong Cao
発行日 2025-04-23 08:36:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | QuaDMix: Quality-Diversity Balanced Data Selection for Efficient LLM Pretraining はコメントを受け付けていません

Transformers for Complex Query Answering over Knowledge Hypergraphs

投稿日: 2025年4月24日 作成者: jarxiv

要約

複雑なクエリ応答（CQA）は、近年広範囲に研究されています。
実際の分布に近いデータをモデル化するために、異なるモダリティを持つ知識グラフが導入されています。
トリプルKGは、アリティ2のエンティティと関係で構成される古典的なKGSとして、実際の事実の表現が限られています。
実際のデータはより洗練されています。
多関係グラフが導入されていますが、平等な貢献を持つエンティティを含むさまざまなareityの関係を表すことには制限があります。
このギャップに対処するために、JF17K-HCQAおよびM-FB15K-HCQAの新しいCQAデータセットをサンプリングしました。
各データセットには、投影、否定、接続詞、分離などの論理操作を含むさまざまなクエリタイプが含まれています。
知識Hypergraph（KHG）実存的な一次クエリに答えるために、2段階変圧器モデル、論理知識ハイパーグラフ変圧器（LKHGT）を提案します。
両方のエンコーダーには、トークンの相互作用をキャプチャするためのタイプ認識バイアス（タブ）が装備されています。
CQAデータセットでの実験結果は、LKHGTがKHGよりも最先端のCQAメソッドであり、分散式クエリタイプに一般化できることを示しています。

要約(オリジナル)

Complex Query Answering (CQA) has been extensively studied in recent years. In order to model data that is closer to real-world distribution, knowledge graphs with different modalities have been introduced. Triple KGs, as the classic KGs composed of entities and relations of arity 2, have limited representation of real-world facts. Real-world data is more sophisticated. While hyper-relational graphs have been introduced, there are limitations in representing relationships of varying arity that contain entities with equal contributions. To address this gap, we sampled new CQA datasets: JF17k-HCQA and M-FB15k-HCQA. Each dataset contains various query types that include logical operations such as projection, negation, conjunction, and disjunction. In order to answer knowledge hypergraph (KHG) existential first-order queries, we propose a two-stage transformer model, the Logical Knowledge Hypergraph Transformer (LKHGT), which consists of a Projection Encoder for atomic projection and a Logical Encoder for complex logical operations. Both encoders are equipped with Type Aware Bias (TAB) for capturing token interactions. Experimental results on CQA datasets show that LKHGT is a state-of-the-art CQA method over KHG and is able to generalize to out-of-distribution query types.

arxiv情報

著者 Hong Ting Tsang,Zihao Wang,Yangqiu Song
発行日 2025-04-23 09:07:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Transformers for Complex Query Answering over Knowledge Hypergraphs はコメントを受け付けていません

PIS: Linking Importance Sampling and Attention Mechanisms for Efficient Prompt Compression

投稿日: 2025年4月24日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は驚くべき進歩を達成し、さまざまな自然言語処理タスクにわたって前例のない機能を実証しています。
ただし、このような例外的なパフォーマンスに関連する高コストは、LLMSの広範な採用を制限し、迅速な圧縮の必要性を強調しています。
既存の迅速な圧縮方法は、主にヒューリスティックな切り捨てまたは抽象的な要約技術に依存しています。これは、LLMの本質的なメカニズムを根本的に見落とし、生成のトークンの重要性の体系的な評価を欠いています。
この作業では、隠された状態の注意スコアの分析に基づいて重要なトークンをサンプリングすることにより、プロンプトを動的に圧縮する新しい圧縮フレームワークである、プロンプトの重要性サンプリング（PIS）を導入します。
PISはデュアルレベルの圧縮メカニズムを採用しています。1）トークンレベルでは、LLMネイティブの注意スコアを使用して顕著性を定量化し、軽量9層補強学習（RL）ネットワークを介して適応圧縮を実装します。
2）セマンティックレベルでは、文レベルの重要性サンプリングのためのロシアのルーレットサンプリング戦略を提案します。
複数のドメインベンチマークにわたる包括的な評価は、この方法が最先端の圧縮性能を達成することを示しています。
特に、当社のフレームワークは、最適化されたコンテキスト構造を通じて、偶然に推論効率を高めます。
この作業は、LLMSのコンテキスト管理における理論的根拠と実用的効率の両方を提供することにより、迅速なエンジニアリングを進めます。

要約(オリジナル)

Large language models (LLMs) have achieved remarkable progress, demonstrating unprecedented capabilities across various natural language processing tasks. However, the high costs associated with such exceptional performance limit the widespread adoption of LLMs, highlighting the need for prompt compression. Existing prompt compression methods primarily rely on heuristic truncation or abstractive summarization techniques, which fundamentally overlook the intrinsic mechanisms of LLMs and lack a systematic evaluation of token importance for generation. In this work, we introduce Prompt Importance Sampling (PIS), a novel compression framework that dynamically compresses prompts by sampling important tokens based on the analysis of attention scores of hidden states. PIS employs a dual-level compression mechanism: 1) at the token level, we quantify saliency using LLM-native attention scores and implement adaptive compression through a lightweight 9-layer reinforcement learning (RL) network; 2) at the semantic level, we propose a Russian roulette sampling strategy for sentence-level importance sampling. Comprehensive evaluations across multiple domain benchmarks demonstrate that our method achieves state-of-the-art compression performance. Notably, our framework serendipitously enhances reasoning efficiency through optimized context structuring. This work advances prompt engineering by offering both theoretical grounding and practical efficiency in context management for LLMs.

arxiv情報

著者 Lizhe Chen,Binjia Zhou,Yuyao Ge,Jiayi Chen,Shiguang NI
発行日 2025-04-23 09:53:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | PIS: Linking Importance Sampling and Attention Mechanisms for Efficient Prompt Compression はコメントを受け付けていません

lamss: when large language models meet self-skepticism

投稿日: 2025年4月24日 作成者: jarxiv

要約

幻覚は、大規模な言語モデル（LLM）にとって大きな課題であり、一部の分野でのさらなる適用を妨げています。
人類の懐疑的な思考は、LLMSが自己認知、自己反省、および彼らのHALの地震を軽減するために役立つ可能性があります。
この考慮事項に触発されて、LLMSのセマンティック理解能力と自己懐疑論を組み合わせたLamssと呼ばれる新しいアプローチを提案します。
一連の懐疑的なトークンを導入し、それらを語彙に拡張することにより、関連性と微調整の両方を実施します。これにより、LLMはそれぞれの通常のトークンを解読し、その後に懐疑的なトークンが続き、異なる懐疑論レベルを表します。
クエリを与えられた応答の懐疑論を計算することにより、しきい値よりも比較的低い懐疑論的レベルでのみ答えようとする新しい自己認識LLMを定義できます。
Accu Racy、AUC、およびAPの喜んで質問するAPを調べることにより、LAMSは、マルチ選択の質問とオープンドメインの質問アンウェーベンチマークの両方でベースラインよりも優れたパフォーマンスを達成し、マルチタスクおよびドメイン外の設定に一般化できることを実証します。
私たちの研究は、さらなる人工知能に関する自己懐疑論のモデリングにいくつかの光を当てています。
プロジェクトコードとモデルのチェックポイントは、https：//anonymous.4open.science/r/SM-1E76にあります。

要約(オリジナル)

Hallucination is a major challenge for large language models (LLMs), prevent ing their further application in some fields. The skeptical thinking of humankind could be useful for LLMs to self-cognition, self-reflection and alleviate their hal lucinations. Inspired by this consideration, we propose a novel approach called LaMsS, which combines the semantic understanding capability of LLMs with self-skepticism. By introducing a series of skepticism tokens and augmenting them into the vocabulary, we conduct both pertaining and finetuning, which allow the LLM to decode each normal token followed by a skeptical token, represent ing different skepticism levels. By calculating the response skepticism given a query, one can define a new self-aware LLM which is only willing to answer with relative lower skepticism level than the threshold. By examining the accu racy, AUC and AP of willingly answering questions, we demonstrate that LaMsS achieves better performance than baselines on both multi-choice questions and open-domain question-answering benchmarks, and can generalize to multi-task and out-of-domain settings. Our study sheds some lights on the self-skepticism modeling on further artificial intelligence. Project code and model checkpoints can be found in https://anonymous.4open.science/r/SM-1E76.

arxiv情報

著者 Yetao Wu,Yihong Wang,Teng Chen,Ningyuan Xi,Qingqing Gu,Hongyang Lei,Luo Ji
発行日 2025-04-23 10:09:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | lamss: when large language models meet self-skepticism はコメントを受け付けていません

Comparing Large Language Models and Traditional Machine Translation Tools for Translating Medical Consultation Summaries: A Pilot Study

投稿日: 2025年4月24日 作成者: jarxiv

要約

この研究では、大規模な言語モデル（LLMS）と従来の機械翻訳（MT）ツールが、英語からアラビア語、中国語、ベトナム語に医療相談の要約をどの程度変換するかを評価します。
標準の自動化されたメトリックを使用して、患者、友好的、臨床医、集中したテキストの両方を評価します。
結果は、特に複雑なテキストでは、従来のMTツールが一般的にパフォーマンスを発揮し、LLMはより簡単な要約を翻訳する際に、特にベトナムと中国語で約束を示したことを示しました。
アラビア語の翻訳は、言語の形態により複雑に改善されました。
全体として、LLMはコンテキストの柔軟性を提供しますが、それらは一貫性のないままであり、現在の評価メトリックは臨床的関連性をキャプチャできません。
この研究では、ドメイン固有のトレーニング、評価方法の改善、および医療翻訳における人間の監視の必要性を強調しています。

要約(オリジナル)

This study evaluates how well large language models (LLMs) and traditional machine translation (MT) tools translate medical consultation summaries from English into Arabic, Chinese, and Vietnamese. It assesses both patient, friendly and clinician, focused texts using standard automated metrics. Results showed that traditional MT tools generally performed better, especially for complex texts, while LLMs showed promise, particularly in Vietnamese and Chinese, when translating simpler summaries. Arabic translations improved with complexity due to the language’s morphology. Overall, while LLMs offer contextual flexibility, they remain inconsistent, and current evaluation metrics fail to capture clinical relevance. The study highlights the need for domain-specific training, improved evaluation methods, and human oversight in medical translation.

arxiv情報

著者 Andy Li,Wei Zhou,Rashina Hoda,Chris Bain,Peter Poon
発行日 2025-04-23 10:31:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Comparing Large Language Models and Traditional Machine Translation Tools for Translating Medical Consultation Summaries: A Pilot Study はコメントを受け付けていません

Debunking with Dialogue? Exploring AI-Generated Counterspeech to Challenge Conspiracy Theories

投稿日: 2025年4月24日 作成者: jarxiv

要約

counterspeechは、有害なオンラインコンテンツに対する重要な戦略ですが、専門家主導の努力のスケーリングは困難です。
大規模な言語モデル（LLMS）は潜在的な解決策を提示しますが、陰謀理論に対抗するのに使用されていません。
ヘイトスピーチとは異なり、陰謀理論のコメントと専門家で作られたcounterspeechとペアリングするデータセットは存在しません。
GPT-4O、Llama 3、およびMistralの能力を評価して、構造化されたプロンプトを通じて提供された心理研究から派生したカウンタースクイー戦略を効果的に適用することにより、このギャップに対処します。
私たちの結果は、モデルがしばしば一般的な、繰り返し、または表面的な結果を生成することを示しています。
さらに、彼らは恐怖を延ばし、頻繁に事実、情報源、または数字を幻覚させ、実際のアプリケーションでの迅速な使用を問題にします。

要約(オリジナル)

Counterspeech is a key strategy against harmful online content, but scaling expert-driven efforts is challenging. Large Language Models (LLMs) present a potential solution, though their use in countering conspiracy theories is under-researched. Unlike for hate speech, no datasets exist that pair conspiracy theory comments with expert-crafted counterspeech. We address this gap by evaluating the ability of GPT-4o, Llama 3, and Mistral to effectively apply counterspeech strategies derived from psychological research provided through structured prompts. Our results show that the models often generate generic, repetitive, or superficial results. Additionally, they over-acknowledge fear and frequently hallucinate facts, sources, or figures, making their prompt-based use in practical applications problematic.

arxiv情報

著者 Mareike Lisker,Christina Gottschalk,Helena Mihaljević
発行日 2025-04-23 10:32:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.SI, I.2.7 | Debunking with Dialogue? Exploring AI-Generated Counterspeech to Challenge Conspiracy Theories はコメントを受け付けていません

Dynamic hashtag recommendation in social media with trend shift detection and adaptation

投稿日: 2025年4月24日 作成者: jarxiv

要約

ハッシュタグ推奨システムは、関連するハッシュタグを自動的に提案し、コンテンツの分類と検索を強化するための重要なツールとして浮上しています。
ただし、既存の静的モデルは、新しいハッシュタグが絶えず出現し、既存のハッシュタグがセマンティックシフトを受けるソーシャルメディアの会話の非常にダイナミックな性質に適応するのに苦労しています。
これらの課題に対処するために、このホワイトペーパーでは、H-Adapts（トレンドシフトへの検出と適応によるハッシュタグの推奨事項）を紹介します。これは、ハッシュタグの使用状況を検出するトレンド認識メカニズムを採用して進化する傾向と最近のポストに基づいて効率的なモデルの適応をトリグに塗ります。
さらに、Apache Stormフレームワークは、高速ソーシャルデータのスケーラブルでフォールトトレラントな分析をサポートするために活用されており、トレンドシフトのタイムリーな検出を可能にします。
Covid-19パンデミックと2020年の米国大統領選挙を含む2つの現実世界のケーススタディの実験結果は、新たな傾向に適応し、既存のソリューションを大幅に上回ることにより、タイムリーで関連するハッシュタグの推奨を提供する際のH適応性の有効性を示しています。

要約(オリジナル)

Hashtag recommendation systems have emerged as a key tool for automatically suggesting relevant hashtags and enhancing content categorization and search. However, existing static models struggle to adapt to the highly dynamic nature of social media conversations, where new hashtags constantly emerge and existing ones undergo semantic shifts. To address these challenges, this paper introduces H-ADAPTS (Hashtag recommendAtion by Detecting and adAPting to Trend Shifts), a dynamic hashtag recommendation methodology that employs a trend-aware mechanism to detect shifts in hashtag usage-reflecting evolving trends and topics within social media conversations-and triggers efficient model adaptation based on a (small) set of recent posts. Additionally, the Apache Storm framework is leveraged to support scalable and fault-tolerant analysis of high-velocity social data, enabling the timely detection of trend shifts. Experimental results from two real-world case studies, including the COVID-19 pandemic and the 2020 US presidential election, demonstrate the effectiveness of H-ADAPTS in providing timely and relevant hashtag recommendations by adapting to emerging trends, significantly outperforming existing solutions.

arxiv情報

著者 Riccardo Cantini,Fabrizio Marozzo,Alessio Orsino,Domenico Talia,Paolo Trunfio
発行日 2025-04-23 11:29:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.DC, cs.NE, cs.SI | Dynamic hashtag recommendation in social media with trend shift detection and adaptation はコメントを受け付けていません

The advantages of context specific language models: the case of the Erasmian Language Model

投稿日: 2025年4月24日 作成者: jarxiv

要約

言語モデルのパフォーマンスを改善するための現在の傾向は、パラメーターの数（たとえば、最先端のGPT4モデルには約1.7兆パラメーターがあります）またはモデルに供給されるトレーニングデータの量を拡大することに基づいているようです。
ただし、これは、AIソリューションの持続可能性を損なう計算リソースとエネルギーコスト、ならびにプライバシーと誤用に関連するリスクの観点から、かなりのコストでもたらされます。
このホワイトペーパーでは、エラスムス大学ロッテルダムによって、および微調整された、エラスミアン言語モデル（ELM）を小さなコンテキスト固有の9億パラメーターモデルで紹介します。
エッセイの執筆のために教室のコンテキストでモデルがどのように適切に機能するか、およびそのコンテキストの一部である被験者で優れたパフォーマンスをどのように達成するかを示します。
これは、幅広い機関や組織に影響を及ぼし、コンテキスト固有の言語モデルが、リソースが制約され、プライバシーに敏感なユースケースの実行可能な代替手段である可能性があることを示しています。

要約(オリジナル)

The current trend to improve language model performance seems to be based on scaling up with the number of parameters (e.g. the state of the art GPT4 model has approximately 1.7 trillion parameters) or the amount of training data fed into the model. However this comes at significant costs in terms of computational resources and energy costs that compromise the sustainability of AI solutions, as well as risk relating to privacy and misuse. In this paper we present the Erasmian Language Model (ELM) a small context specific, 900 million parameter model, pre-trained and fine-tuned by and for Erasmus University Rotterdam. We show how the model performs adequately in a classroom context for essay writing, and how it achieves superior performance in subjects that are part of its context. This has implications for a wide range of institutions and organizations, showing that context specific language models may be a viable alternative for resource constrained, privacy sensitive use cases.

arxiv情報

著者 João Gonçalves,Nick Jelicic,Michele Murgia,Evert Stamhuis
発行日 2025-04-23 11:31:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | The advantages of context specific language models: the case of the Erasmian Language Model はコメントを受け付けていません