模型发展的两极化趋势已经愈发明显,一方面,在企业级应用侧,小参数模型成为应用落地的最佳选择;另一方面,通用大模型的参数正在不断攀升,大模型已经进入了万亿参数时代。
当前,MoE (Mixture of Experts)高效模型架构正在驱动大模型参数规模持续提升,比如采用 MoE混合专家架构的KIMI K2开源模型,其总参数量达1.2万亿,但每个Token 推理时仅激活32B参数。
算力系统面临挑战
随着模型参数的不断增加,万亿参数模型时代已经到来,无论是KIMI K2,还是GPT、Grok,参数量都已经发展到万亿阶段,而万亿参数的模型也对算力系统架构提出新的挑战。