OpenThaiGPT 1.6 and R1: Thai-Centric Open Source and Reasoning Large Language Models

要約

Openthaigpt 1.6およびR1（OTG-1.6およびOTG-R1）を提示します。これは、一般化と推論能力を強化するために、異なる方法論を通じて開発されたタイ中心の大手言語モデル（LLMS）を発表します。
OTG-1.6は、幅広い一般化のために融合するタスク算術モデルを採用し、OTG-R1は、高度な推論のために多段階の推論仮説（LIMO）と統合します。
ベンチマーク評価は、タイ語のタスク全体で優れたパフォーマンスを示し、大規模なオープンソースタイLLMに対して競争結果を達成します。
このペーパーでは、提案されたモデル、トレーニングプロセス、ベンチマーク、および結果について詳しく説明し、以前のモデルの改善を強調し、タイ中心のLLMの新しいパフォーマンス基準を確立します。

要約(オリジナル)

We present OpenThaiGPT 1.6 and R1 (OTG-1.6 and OTG-R1), Thai-centric Large Language Models (LLMs) developed through distinct methodologies to enhance generalization and reasoning capabilities. OTG-1.6 employs Task Arithmetic model merging for broad generalization, while OTG-R1 integrates multi-stage training with the Less-Is-More Reasoning Hypothesis (LIMO) for advanced reasoning. Benchmark evaluations demonstrate superior performance across Thai language tasks, achieving competitive results against larger-scale open-source Thai LLMs. This paper details the proposed models, training processes, benchmarks, and results, highlighting improvements over previous models and establishing new performance standards for Thai-centric LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google