英伟达开源 3400 亿参数模型 Nemotron-4 340B 近期，英伟达开源 Nemotron-4 340B（3400 亿参数）系列模型。据英伟达介绍，开发人员可使用该系列模型生成合成数据，用于训练大型语言模型 (LLM)，用于医疗保健、金融、制造、零售和其他行业的商业应用。 Nemotron-4 340B 包括基础模型 Base、指令模型 Instruct 和奖励模型 Reward。英伟达使用了 9 万亿个 token（文本单位）进行训练。Nemotron-4 340B-Base 在常识推理任务，如 ARC-c、MMLU 和 BBH 基准测试中，可以和 Llama-3 70B、Mixtral 8x22B 和 Qwen-2 72B 模型媲美。
