NeMo-Aligner: Scalable Toolkit for Efficient Model Alignment

要約

大規模言語モデル(LLM)を人間の価値観や嗜好に合わせることは、LLMを有用で安全なものにするために不可欠である。しかし、アライメントを実行するための効率的なツールを構築することは、特に、数百億から数千億のパラメータを含むことが多い、最大かつ最も有能なLLMにとっては困難である。私たちは、Nemotron 4 340BやLlama 3.1 405Bのような最大のオープンソースLLMをトレーニングするために、1000GPUまで効率的にスケールできるモデルアライメントのためのツールキット、NeMo-Alignerを開発しました。NeMo-Alignerは、以下のようなモデル・アライメントの主要なパラダイムに対して高度に最適化されたスケーラブルな実装を備えています：人間のフィードバックからの強化学習（RLHF）、直接選好最適化（DPO）、SteerLM、自己再生微調整（SPIN）などです。さらに、我々のツールキットは、ほとんどのアライメント技術をPEFT（Parameter Efficient Fine-Tuning）設定で実行することをサポートしています。NeMo-Alignerは、最小限の労力で他のアライメント技術をサポートできるよう、拡張性を考慮して設計されています。Apache 2.0ライセンスでオープンソース化されており、https://github.com/NVIDIA/NeMo-Aligner でコミュニティからのコントリビューションを募集しています。

要約(オリジナル)

Aligning Large Language Models (LLMs) with human values and preferences is essential for making them helpful and safe. However, building efficient tools to perform alignment can be challenging, especially for the largest and most competent LLMs which often contain tens or hundreds of billions of parameters. We create NeMo-Aligner, a toolkit for model alignment that can efficiently scale to a thousand GPUs for training the largest open-source LLMs such as Nemotron 4 340B and Llama 3.1 405B. NeMo-Aligner comes with highly optimized and scalable implementations for major paradigms of model alignment such as: Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), SteerLM, and Self-Play Fine-Tuning (SPIN). Additionally, our toolkit supports running most of the alignment techniques in a Parameter Efficient Fine-Tuning (PEFT) setting. NeMo-Aligner is designed for extensibility, allowing support for other alignment techniques with minimal effort. It is open-sourced with Apache 2.0 License and we invite community contributions at https://github.com/NVIDIA/NeMo-Aligner

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL