记者从小米获悉，6月8日晚，小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式，这是全球首个在通用GPU上推理速度突破1000 Tokens/s的万亿参数模型，刷新旗舰模型全球推理最快速度。据悉，MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的全链路工程能力优化，在不降低模型能力前提下，首次把推理速度提升至1000 Tokens/s，且无需定制芯片、只使用通用GPU即可达成。业内认为，小米MiMo大模型推理工程实力跻身全球第一梯队。即日起至6月23日，MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放，通过申请的用户可接入API进行体验。记者梳理发现，自4月底以来，小米AI在模型能力、推理成本和推理效率三个维度接连取得突破。其中，4月23日，MiMo-V2.5-Pro在Artificial Analysis上获得综合智能指数与Agent指数全球开源模型并列第一；5月27日，Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%，并同步调整Token Plan计费体系。6月8日，MiMo-V2.5-Pro-UltraSpeed以1000 Tokens/s刷新万亿参数旗舰模型推理速度新纪录。过去，大模型领域存在一个隐形瓶颈：速度快的模型往往参数小、能力弱；能力强的模型又因为体量庞大而响应缓慢，且很多高速推理模型依赖昂贵的专用芯片。Xiaomi MiMo-V2.5-Pro-UltraSpeed模式用通用GPU实现了万亿参数模型的1000 Tokens/s推理速度，让大模型在不降低模型能力的前提下，获得接近实时的复杂任务响应能力，成为全球首个达到这一速度水平的万亿参数模型。小米MiMo技术团队表示，该突破是基于Xiaomi MiMo-V2.5 Pro的SWA架构，叠加了 FP4 Experts、DFlash 解码以及TileRT团队的执行系统Co-design，从模型到推理引擎再到GPU执行路径进行了全链路优化。这是小米AI在模型推理系统全链路优化工程能力的新突破，打破了“快、强、通用GPU无法兼得”的行业不可能三角，推理工程实力跻身全球第一梯队。Xiaomi MiMo-V2.5-Pro-UltraSpeed的发布，标志着旗
=*=*=*=*=*=
当前为第1/2页
下一页-
=*=*=*=*=*=
返回新闻列表
返回网站首页