The Labyrinth of Links: Navigating the Associative Maze of Multi-modal LLMs

投稿日: 2025年3月4日 作成者: jarxiv

要約

マルチモーダル大規模言語モデル(MLLM)は素晴らしい能力を発揮してきた。しかし、最近、人間の知能、$textit{e.g.}$、幻覚などと比較して、MLLMの多くの欠陥が見つかっている。MLLMの研究を推進するために、コミュニティは複雑なタスクを含むより大規模なベンチマークの構築に力を注いでいる。本論文では、$textbf{association}$という、観察記憶と事前練習記憶を結びつける人間の基本能力という、本質的であるが通常見過ごされがちな知能のベンチマークを提案する。連想に関するMLLMの性能を包括的に調査するために、我々は連想タスクを定式化し、形容詞と動詞の意味概念に基づく標準ベンチマークを考案する。データのアノテーションやキュレーションにコストをかける代わりに、一般的なデータセットを連想タスク用に変換する便利な$textbf{annotation-free}$構築法を提案する。同時に、生データセットの混乱を排除するために、厳密なデータ洗練プロセスを考案する。このデータベースを基に、シングルステップ、同期、非同期の3つのレベルの連想タスクを構築する。さらに、3つの異なる記憶戦略、オープンソースとクローズドソースの両方のMLLM、最先端のMoE（Mixture-of-Experts）モデル、人間の専門家の関与など、多角的な観点からMLLMのゼロショット連想能力を包括的に調査する。我々の体系的な調査により、現在のオープンソースのMLLMは一貫して我々の連想タスクにおいて不十分な能力を示し、現在最先端のGPT-4V(vision)でも人間と比較して大きな隔たりがあることが示された。我々は、このベンチマークが今後のMLLM研究に道を開くと信じている。このベンチマークは、今後のMLLM研究に道を開くと信じている。

要約(オリジナル)

Multi-modal Large Language Models (MLLMs) have exhibited impressive capability. However, recently many deficiencies of MLLMs have been found compared to human intelligence, $\textit{e.g.}$, hallucination. To drive the MLLMs study, the community dedicated efforts to building larger benchmarks with complex tasks. In this paper, we propose benchmarking an essential but usually overlooked intelligence: $\textbf{association}$, a human’s basic capability to link observation and prior practice memory. To comprehensively investigate MLLM’s performance on the association, we formulate the association task and devise a standard benchmark based on adjective and verb semantic concepts. Instead of costly data annotation and curation, we propose a convenient $\textbf{annotation-free}$ construction method transforming the general dataset for our association tasks. Simultaneously, we devise a rigorous data refinement process to eliminate confusion in the raw dataset. Building on this database, we establish three levels of association tasks: single-step, synchronous, and asynchronous associations. Moreover, we conduct a comprehensive investigation into the MLLMs’ zero-shot association capabilities, addressing multiple dimensions, including three distinct memory strategies, both open-source and closed-source MLLMs, cutting-edge Mixture-of-Experts (MoE) models, and the involvement of human experts. Our systematic investigation shows that current open-source MLLMs consistently exhibit poor capability in our association tasks, even the currently state-of-the-art GPT-4V(vision) also has a significant gap compared to humans. We believe our benchmark would pave the way for future MLLM studies. $\textit{Our data and code are available at:}$ https://mvig-rhos.com/llm_inception.

arxiv情報

著者 Hong Li,Nanxi Li,Yuanjie Chen,Jianbin Zhu,Qinlu Guo,Cewu Lu,Yong-Lu Li
発行日 2025-03-03 00:41:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.CV, cs.LG | The Labyrinth of Links: Navigating the Associative Maze of Multi-modal LLMs はコメントを受け付けていません

OLMoE: Open Mixture-of-Experts Language Models

投稿日: 2025年3月4日 作成者: jarxiv

要約

OLMoEは、スパースなMoE（Mixture-of-Experts）を活用した、完全にオープンな最先端の言語モデルである。OLMoE-1B-7Bは70億(B)のパラメータを持つが、入力トークンあたり1Bしか使用しない。このモデルを5兆個のトークンで事前学習し、さらにOLMoE-1B-7B-Instructを作成するために適応させました。我々のモデルは、同様のアクティブパラメータを持つ全てのモデルを凌駕し、Llama2-13B-ChatやDeepSeekMoE-16Bのような大規模なモデルをも凌駕する。MoEのトレーニングに関する様々な実験を紹介し、高い特殊性を示す我々のモデルにおけるルーティングを分析し、モデルの重み、トレーニングデータ、コード、ログなど、我々の研究の全ての側面をオープンソース化する。

要約(オリジナル)

We introduce OLMoE, a fully open, state-of-the-art language model leveraging sparse Mixture-of-Experts (MoE). OLMoE-1B-7B has 7 billion (B) parameters but uses only 1B per input token. We pretrain it on 5 trillion tokens and further adapt it to create OLMoE-1B-7B-Instruct. Our models outperform all available models with similar active parameters, even surpassing larger ones like Llama2-13B-Chat and DeepSeekMoE-16B. We present various experiments on MoE training, analyze routing in our model showing high specialization, and open-source all aspects of our work: model weights, training data, code, and logs.

arxiv情報

著者 Niklas Muennighoff,Luca Soldaini,Dirk Groeneveld,Kyle Lo,Jacob Morrison,Sewon Min,Weijia Shi,Pete Walsh,Oyvind Tafjord,Nathan Lambert,Yuling Gu,Shane Arora,Akshita Bhagia,Dustin Schwenk,David Wadden,Alexander Wettig,Binyuan Hui,Tim Dettmers,Douwe Kiela,Ali Farhadi,Noah A. Smith,Pang Wei Koh,Amanpreet Singh,Hannaneh Hajishirzi
発行日 2025-03-03 01:25:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | OLMoE: Open Mixture-of-Experts Language Models はコメントを受け付けていません

Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）は、その性能を向上させるために関数を呼び出したり、外部ツールを使用したりする能力を含め、多様なタスクを実行する上で大きな可能性を示してきた。LLMによる関数呼び出しに関する現在の研究は、主にシングルターンの相互作用に焦点を当てているが、本論文では、LLMがマルチターンの関数呼び出しに関与する必要性が見過ごされていることを取り上げる。これを促進するために、ボトムアップの命令構築とトップダウンの軌道生成により、合成的な命令チューニングデータを生成するアプローチBUTTONを紹介する。ボトムアップフェーズでは、実世界のシナリオに基づいた単純なアトミックタスクを生成し、アトミックタスクに基づいたヒューリスティック戦略を用いて合成タスクを構築する。次に、これらの構成タスクに対応する関数定義を合成する。トップダウンフェーズでは、模擬人間、アシスタント、ツール間の相互作用を利用したマルチエージェント環境を用いて、複数ターンの関数呼び出し軌跡を収集する。このアプローチにより、タスクの構成性が保証され、構成タスク内のアトミックタスクを調べることにより、効果的な関数と軌跡の生成が可能となる。我々は、8kデータポイントからなるデータセットBUTTONInstructを作成し、様々なLLMにわたる広範な実験を通してその有効性を実証する。

要約(オリジナル)

Large Language Models (LLMs) have exhibited significant potential in performing diverse tasks, including the ability to call functions or use external tools to enhance their performance. While current research on function calling by LLMs primarily focuses on single-turn interactions, this paper addresses the overlooked necessity for LLMs to engage in multi-turn function calling–critical for handling compositional, real-world queries that require planning with functions but not only use functions. To facilitate this, we introduce an approach, BUTTON, which generates synthetic compositional instruction tuning data via bottom-up instruction construction and top-down trajectory generation. In the bottom-up phase, we generate simple atomic tasks based on real-world scenarios and build compositional tasks using heuristic strategies based on atomic tasks. Corresponding function definitions are then synthesized for these compositional tasks. The top-down phase features a multi-agent environment where interactions among simulated humans, assistants, and tools are utilized to gather multi-turn function calling trajectories. This approach ensures task compositionality and allows for effective function and trajectory generation by examining atomic tasks within compositional tasks. We produce a dataset BUTTONInstruct comprising 8k data points and demonstrate its effectiveness through extensive experiments across various LLMs.

arxiv情報

著者 Mingyang Chen,Haoze Sun,Tianpeng Li,Fan Yang,Hao Liang,Keer Lu,Bin Cui,Wentao Zhang,Zenan Zhou,Weipeng Chen
発行日 2025-03-03 02:27:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning はコメントを受け付けていません

Exploring Adversarial Robustness in Classification tasks using DNA Language Models

投稿日: 2025年3月4日 作成者: jarxiv

要約

GROVER、DNABERT2、Nucleotide TransformerなどのDNA言語モデルは、配列決定エラー、突然変異、実験室誘発ノイズを本質的に含むDNA配列上で動作し、モデルの性能に大きな影響を与える可能性がある。この問題の重要性にもかかわらず、DNA言語モデルのロバスト性については、まだほとんど研究されていない。本論文では、DNA言語モデルの脆弱性を系統的に分析するために、文字レベル（ヌクレオチド置換）、単語レベル（コドン修飾）、文レベル（逆翻訳ベースの変換）の様々な敵対的攻撃戦略を適用することにより、DNA分類におけるDNA言語モデルの頑健性を包括的に調査する。その結果、DNA言語モデルは敵対的攻撃の影響を非常に受けやすく、大幅な性能劣化につながることが実証された。さらに、ロバスト性と分類精度の両方を向上させる防御メカニズムとして、敵対的な学習方法を検討した。本研究は、DNA言語モデルの限界を明らかにし、バイオインフォマティクスにおけるロバスト性の必要性を強調している。

要約(オリジナル)

DNA Language Models, such as GROVER, DNABERT2 and the Nucleotide Transformer, operate on DNA sequences that inherently contain sequencing errors, mutations, and laboratory-induced noise, which may significantly impact model performance. Despite the importance of this issue, the robustness of DNA language models remains largely underexplored. In this paper, we comprehensivly investigate their robustness in DNA classification by applying various adversarial attack strategies: the character (nucleotide substitutions), word (codon modifications), and sentence levels (back-translation-based transformations) to systematically analyze model vulnerabilities. Our results demonstrate that DNA language models are highly susceptible to adversarial attacks, leading to significant performance degradation. Furthermore, we explore adversarial training method as a defense mechanism, which enhances both robustness and classification accuracy. This study highlights the limitations of DNA language models and underscores the necessity of robustness in bioinformatics.

arxiv情報

著者 Hyunwoo Yoo,Haebin Shin,Kaidi Xu,Gail Rosen
発行日 2025-03-03 02:38:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL | Exploring Adversarial Robustness in Classification tasks using DNA Language Models はコメントを受け付けていません

A Closer Look at Machine Unlearning for Large Language Models

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、プライバシーや法的な懸念を引き起こす、機密または著作権のあるコンテンツを記憶する可能性がある。ゼロから再学習を行うには高いコストがかかるため、研究者は、全体的な性能を維持しながらLLMから特定のコンテンツを削除するために、機械学習解除を採用しようと試みている。本稿では、LLMのための機械学習解除におけるいくつかの問題を議論し、可能なアプローチに関する我々の洞察を提供する。学習解除後のモデル出力の評価が不十分であるという問題に対処するため、トークンの多様性、文の意味、事実の正しさを評価する3つの追加指標を導入する。次に、非学習法を非対象型と対象型に分類し、それぞれの問題点を議論する。具体的には、非ターゲットの非学習が近似しようとする振る舞いは予測不可能であり、幻覚を伴う可能性がある。これらの問題を緩和するために、我々は、非対象学習に対してはエントロピー最大化(ME)を目的とし、対象学習に対しては正則化として解答保存(AP)損失を組み込むことを提案する。架空の非学習、継続的な非学習、実世界の非学習という3つのシナリオにおける実験結果は、我々のアプローチの有効性を実証している。コードはhttps://github.com/sail-sg/closer-look-LLM-unlearning。

要約(オリジナル)

Large language models (LLMs) may memorize sensitive or copyrighted content, raising privacy and legal concerns. Due to the high cost of retraining from scratch, researchers attempt to employ machine unlearning to remove specific content from LLMs while preserving the overall performance. In this paper, we discuss several issues in machine unlearning for LLMs and provide our insights on possible approaches. To address the issue of inadequate evaluation of model outputs after unlearning, we introduce three additional metrics to evaluate token diversity, sentence semantics, and factual correctness. We then categorize unlearning methods into untargeted and targeted, and discuss their issues respectively. Specifically, the behavior that untargeted unlearning attempts to approximate is unpredictable and may involve hallucinations, and existing regularization is insufficient for targeted unlearning. To alleviate these issues, we propose using the objective of maximizing entropy (ME) for untargeted unlearning and incorporate answer preservation (AP) loss as regularization for targeted unlearning. Experimental results across three scenarios, i.e., fictitious unlearning, continual unlearning, and real-world unlearning, demonstrate the effectiveness of our approaches. The code is available at https://github.com/sail-sg/closer-look-LLM-unlearning.

arxiv情報

著者 Xiaojian Yuan,Tianyu Pang,Chao Du,Kejiang Chen,Weiming Zhang,Min Lin
発行日 2025-03-03 02:45:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | A Closer Look at Machine Unlearning for Large Language Models はコメントを受け付けていません

A Pilot Empirical Study on When and How to Use Knowledge Graphs as Retrieval Augmented Generation

投稿日: 2025年3月4日 作成者: jarxiv

要約

知識グラフ（KG）をRAG（Retrieval Augmented Generation）フレームワークに統合することは大きな関心を集めており、初期の研究では、幻覚を緩和し、モデルの精度を向上させることが期待されている。しかし、急速に台頭しつつあるKG-RAG手法の体系的な理解と比較分析はまだ不十分である。本稿では、異なる技術構成に関連する様々な応用シナリオにおけるKG-RAGの性能を分析することで、いつ、どのようにKG-RAGを使用するかという疑問に体系的に答えるための基礎を築こうとするものである。KG-RAGフレームワークを用いたマインドマップの概要と、その一般的なパイプラインを要約した後、KG-RAGのパイロット実証研究を実施し、多様なシナリオにおける7つのデータセットで6つのKG-RAG手法を再実装し評価し、17のLLMと組み合わせた9つのKG-RAG構成の影響を分析する。我々の結果は、適切な適用条件とKG-RAGコンポーネントの最適な構成の重要な役割を強調している。

要約(オリジナル)

The integration of Knowledge Graphs (KGs) into the Retrieval Augmented Generation (RAG) framework has attracted significant interest, with early studies showing promise in mitigating hallucinations and improving model accuracy. However, a systematic understanding and comparative analysis of the rapidly emerging KG-RAG methods are still lacking. This paper seeks to lay the foundation for systematically answering the question of when and how to use KG-RAG by analyzing their performance in various application scenarios associated with different technical configurations. After outlining the mind map using KG-RAG framework and summarizing its popular pipeline, we conduct a pilot empirical study of KG-RAG works to reimplement and evaluate 6 KG-RAG methods across 7 datasets in diverse scenarios, analyzing the impact of 9 KG-RAG configurations in combination with 17 LLMs. Our results underscore the critical role of appropriate application conditions and optimal configurations of KG-RAG components.

arxiv情報

著者 Xujie Yuan,Yongxu Liu,Shimin Di,Shiwen Wu,Libin Zheng,Rui Meng,Lei Chen,Xiaofang Zhou,Jian Yin
発行日 2025-03-03 03:00:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | A Pilot Empirical Study on When and How to Use Knowledge Graphs as Retrieval Augmented Generation はコメントを受け付けていません

Controllable Context Sensitivity and the Knob Behind It

投稿日: 2025年3月4日 作成者: jarxiv

要約

予測を行う際、言語モデルは、その文脈にどれだけ依存するか、事前知識にどれだけ依存するかをトレードオフしなければならない。モデルがどの程度文脈に敏感であるかを選択することは、基本的な機能であり、これにより、検索支援生成や質問応答のようなタスクで優れた性能を発揮することが可能になる。本論文では、この感度を制御するノブを探索し、言語モデルが文脈から答えるのか、それとも事前知識から答えるのかを決定する。この探索を導くために、文脈感度を制御可能なタスクを設計する。このタスクでは、まずモデルに文脈（パリはイギリスにある）と質問（パリはどこですか）を与え、次にモデルに事前知識と文脈知識のどちらかを使うように指示し、両方の意図（フランスかイギリスのどちらか）に対して正しい答えを生成するかどうかを評価する。このタスクを微調整した場合、Llama-3.1、Mistral-v0.3、Gemma-2のインストラクションチューニングバージョンは高い精度（85-95%）で解くことができる。これらの高性能モデルを分析し、新しい線形時間アルゴリズムを用いて、文脈感度に重要と思われるレイヤーを絞り込む。そして、各モデルにおいて、モデルが文脈に従うか、それとも事前知識に従うかを符号化する1つの層の1次元部分空間を特定する。興味深いことに、ファインチューニングされたモデルにおいてこの部分空間を同定する一方で、全く同じ部分空間が、そのモデルだけでなく、ファインチューニングされていないインストラクターやそのモデルファミリーのベースモデルにおいても、効果的なノブとして機能することを見出す。最後に、モデルの性能と、この部分空間において文脈に同意する解答と文脈に同意しない解答をどの程度明確に分けるかとの間に強い相関関係があることを示す。これらの結果は、単一の部分空間が、文脈と事前知識の間でモデルがどのように選択するかを容易にすることを示唆しており、この振る舞いを制御する単純な基本的メカニズムを示唆している。

要約(オリジナル)

When making predictions, a language model must trade off how much it relies on its context vs. its prior knowledge. Choosing how sensitive the model is to its context is a fundamental functionality, as it enables the model to excel at tasks like retrieval-augmented generation and question-answering. In this paper, we search for a knob which controls this sensitivity, determining whether language models answer from the context or their prior knowledge. To guide this search, we design a task for controllable context sensitivity. In this task, we first feed the model a context (Paris is in England) and a question (Where is Paris?); we then instruct the model to either use its prior or contextual knowledge and evaluate whether it generates the correct answer for both intents (either France or England). When fine-tuned on this task, instruction-tuned versions of Llama-3.1, Mistral-v0.3, and Gemma-2 can solve it with high accuracy (85-95%). Analyzing these high-performing models, we narrow down which layers may be important to context sensitivity using a novel linear time algorithm. Then, in each model, we identify a 1-D subspace in a single layer that encodes whether the model follows context or prior knowledge. Interestingly, while we identify this subspace in a fine-tuned model, we find that the exact same subspace serves as an effective knob in not only that model but also non-fine-tuned instruct and base models of that model family. Finally, we show a strong correlation between a model’s performance and how distinctly it separates context-agreeing from context-ignoring answers in this subspace. These results suggest a single subspace facilitates how the model chooses between context and prior knowledge, hinting at a simple fundamental mechanism that controls this behavior.

arxiv情報

著者 Julian Minder,Kevin Du,Niklas Stoehr,Giovanni Monea,Chris Wendler,Robert West,Ryan Cotterell
発行日 2025-03-03 03:02:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | Controllable Context Sensitivity and the Knob Behind It はコメントを受け付けていません

HORAE: A Domain-Agnostic Modeling Language for Automating Multimodal Service Regulation

投稿日: 2025年3月4日 作成者: jarxiv

要約

人工知能はサービス規制の分野に急速に浸透しつつある。本稿では、多様なドメインにまたがるマルチモーダルな規制ルールをモデル化する統一仕様言語であるHORAEの設計原理を紹介する。さらに、HORAEモデリングプロセスを自動化するHORAEと名付けられた微調整された大規模言語モデルを利用することで、HORAEがインテリジェントなサービス規制パイプラインをどのように促進し、それによって完全に自動化されたインテリジェントなサービス規制のためのエンドツーエンドのフレームワークを実現するかを示す。

要約(オリジナル)

Artificial intelligence is rapidly encroaching on the field of service regulation. This work-in-progress article presents the design principles behind HORAE, a unified specification language to model multimodal regulation rules across a diverse set of domains. We show how HORAE facilitates an intelligent service regulation pipeline by further exploiting a fine-tuned large language model named HORAE that automates the HORAE modeling process, thereby yielding an end-to-end framework for fully automated intelligent service regulation.

arxiv情報

著者 Yutao Sun,Mingshuai Chen,Kangjia Zhao,Jintao Chen
発行日 2025-03-03 03:05:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL, cs.LG | HORAE: A Domain-Agnostic Modeling Language for Automating Multimodal Service Regulation はコメントを受け付けていません

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

投稿日: 2025年3月4日 作成者: jarxiv

要約

人工知能(AI)は、ヘルスケア、特に疾病診断や治療計画において大きな可能性を示している。最近の医療用大型視覚言語モデル（Medical Large Vision-Language Models：Med-LVLM）の進歩は、対話型診断ツールの新たな可能性を開いている。しかし、これらのモデルはしばしば事実の幻覚に悩まされ、誤った診断につながる可能性がある。このような問題に対処する方法として、ファインチューニングと検索補強型生成（RAG）が登場した。しかし、高品質なデータの量や、学習データと展開データ間の分布のずれが、ファインチューニング手法の適用を制限している。RAGは軽量で効果的であるが、既存のRAGベースのアプローチは、異なる医療領域に対する汎用性が十分ではなく、モダリティ間、モデルとグランドトゥルース間の両方で、ミスアライメントの問題を潜在的に引き起こす可能性がある。本論文では、Med-LVLMの事実性を高めるために設計された、汎用性の高いマルチモーダルRAGシステム、MMed-RAGを提案する。我々のアプローチは、領域を考慮した検索メカニズム、適応的な検索されたコンテクストの選択方法、および証明可能なRAGに基づく嗜好の微調整戦略を導入している。これらの革新的な技術により、RAGプロセスは十分に一般的で信頼性が高くなり、検索されたコンテキストを導入する際のアライメントが大幅に改善される。医療VQAとレポート生成に関する5つの医療データセット（放射線学、眼科学、病理学を含む）の実験結果は、MMed-RAGがMed-LVLMの事実精度で平均43.8%の改善を達成できることを示している。我々のデータとコードはhttps://github.com/richard-peng-xia/MMed-RAG。

要約(オリジナル)

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.

arxiv情報

著者 Peng Xia,Kangyu Zhu,Haoran Li,Tianze Wang,Weijia Shi,Sheng Wang,Linjun Zhang,James Zou,Huaxiu Yao
発行日 2025-03-03 03:08:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.CL, cs.CV, cs.LG | MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models はコメントを受け付けていません

On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing

投稿日: 2025年3月4日 作成者: jarxiv

要約

大規模言語モデル（LLM）の人気が高まるにつれ、機械生成テキスト（MGT）、特に剽窃や誤報のような問題が蔓延している学術的な環境における機械生成テキスト（MGT）に対する懸念が高まっている。その結果、汎用性が高く適応性の高いMGT検出システムの開発が急務となっている。LLMがアカデミック・ライティングにおいて最も一般的に誤用されることを考慮し、本研究ではアカデミック・ライティングに特化した3つの重要な側面におけるMGT検出器の汎化と適応能力を調査する：第一に、336M以上のトークンと749Kのサンプルからなる大規模データセット、MGT-Acedemicを構築する。MGT-Acedemicはアカデミックライティングに焦点を当て、STEM、人文科学、社会科学にわたる人間が書いたテキスト（HWT）とMGTを含み、効率的なベンチマークのための拡張可能なコードフレームワークと組み合わされている。第二に、バイナリ分類と帰属タスクに対する様々な検出器の性能を、インドメインとクロスドメインの両方でベンチマークする。このベンチマークにより、しばしば見落とされがちな帰属タスクの課題が明らかになる。第三に、数ショット及び多ショットシナリオの両方において、モデルが事前の訓練データにアクセスすることなく（あるいは非常に限定された状態で）時間の経過とともに新しいクラスに適応しなければならない、新しい帰属タスクを導入する。我々は、性能を向上させ、タスクの本質的な複雑さを強調するために、8つの異なる適応技術を実装する。我々の発見は、多様なシナリオにわたるMGT検出器の汎化と適応能力に関する洞察を提供し、頑健で適応的な検出システムを構築するための基礎を築く。コードフレームワークはhttps://github.com/Y-L-LIU/MGTBench-2.0。

要約(オリジナル)

The rising popularity of large language models (LLMs) has raised concerns about machine-generated text (MGT), particularly in academic settings, where issues like plagiarism and misinformation are prevalent. As a result, developing a highly generalizable and adaptable MGT detection system has become an urgent priority. Given that LLMs are most commonly misused in academic writing, this work investigates the generalization and adaptation capabilities of MGT detectors in three key aspects specific to academic writing: First, we construct MGT-Acedemic, a large-scale dataset comprising over 336M tokens and 749K samples. MGT-Acedemic focuses on academic writing, featuring human-written texts (HWTs) and MGTs across STEM, Humanities, and Social Sciences, paired with an extensible code framework for efficient benchmarking. Second, we benchmark the performance of various detectors for binary classification and attribution tasks in both in-domain and cross-domain settings. This benchmark reveals the often-overlooked challenges of attribution tasks. Third, we introduce a novel attribution task where models have to adapt to new classes over time without (or with very limited) access to prior training data in both few-shot and many-shot scenarios. We implement eight different adapting techniques to improve the performance and highlight the inherent complexity of the task. Our findings provide insights into the generalization and adaptation ability of MGT detectors across diverse scenarios and lay the foundation for building robust, adaptive detection systems. The code framework is available at https://github.com/Y-L-LIU/MGTBench-2.0.

arxiv情報

著者 Yule Liu,Zhiyuan Zhong,Yifan Liao,Zhen Sun,Jingyi Zheng,Jiaheng Wei,Qingyuan Gong,Fenghua Tong,Yang Chen,Yang Zhang,Xinlei He
発行日 2025-03-03 03:08:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.AI, cs.CL | On the Generalization and Adaptation Ability of Machine-Generated Text Detectors in Academic Writing はコメントを受け付けていません