
n 3 Super还原生支持100万token上下文窗口,在长时间任务中可保持长期记忆,有效避免目标偏移问题。其吞吐量较上一代Nemotron Super提升超过五倍。 在硬件适配方面,该模型针对NVIDIA Blackwell架构进行原生NVFP4预训练,在B200上的推理速度比H100使用FP8格式快四倍,同时保持模型精度。 &nbs
sp;Nemotron 3 Super是NVIDIA在今年3月GTC大会上发布的混合专家模型,总参数量达到1200亿,但每次推理仅激活其中120亿参数,在保持模型知识密度的同时大幅降低推理开销。 该模型采用了多项关键技术。潜在混合专家架构通过压缩输入数据,能够在相同推理成本下激活并调用多达四倍数量的“专家子网络”(专业化的神经
当前文章:http://mvs8am.zjtx18.com/lrwv/neq.html
发布时间:06:40:02