当前70%以上算力用于集中式训练，未来70%以上算力将用于分布式推理，推理需求规模有望达到训练阶段的5-10倍。训练与推理的底层差异决定CPU在训练场景是辅助，在推理场景可以成为"主力1）基于Little's Law（吞吐=并发数/延迟），CPU和GPU选择了压低延迟和堆高并发的不同路线。2）训练以大规模稠密矩阵运算为主，大部分时间GPU在计算，CPU仅承担数据搬运+集群调度，时间占比10-30%；推理具有碎片化、长尾化、延迟敏感特点，CPU在Decode、稀疏计算、长上下文管理、Embedding等多个任务中更具竞争力，可完成70%以上运行负载。



=*=*=*=*=*=
当前为第4/4页
上一页-
=*=*=*=*=*=
返回新闻列表
返回网站首页