6 月 1 日，英伟达今日正式推出英伟达 Cosmos 3，这是一款面向物理人工智能的开放世界基础大模型，依托混合 Transformer 架构打造，在单一系统中融合视觉推理、世界生成与动作预测能力。英伟达称，Cosmos 3 是全球首款全开源的全模态大模型，可原生理解并生成文本、图像、视频、环境音效及动作内容，物理仿真精度业界领先。它能将物理人工智能的训练与评估周期从数月缩短至数日。英伟达同时发起英伟达宇宙联盟（NVIDIA
Cosmos Coalition），汇聚全球世界模型研发团队与人工智能开发者携手合作，成员包括 Agile Robots、Black
Forest Labs、Generalist、LTX、Runway 以及 Skild AI，共同推动下一代世界模型技术发展。英伟达创始人兼首席执行官黄仁勋表示：多模态推理语言、视觉与世界模型接连取得突破，物理人工智能的变革时代即将到来。Cosmos
3 系列开源前沿全模态模型，将助力开发者实现技术跨越，打造能在现实世界中感知、推理、规划并执行动作的机器人（核心股）、自动驾驶汽车及视觉人工智能系统。物理人工智能长期面临一大核心难题：如何让机器人（核心股）、自动驾驶车辆与视觉智能体，依托有限训练数据和零散仿真框架，在真实场景中具备泛化能力。Cosmos 3 就此给出解决方案。该模型采用混合 Transformer 架构，将推理 Transformer 与专精生成类 Transformer 相结合。模型会先解析物体交互、运动规律以及时空关联关系，再完成视频生成与动作轨迹预测。Cosmos 3 基于海量多模态物理人工智能数据集训练而成，涵盖数十亿条文本、图像、视频、音效及动作轨迹样本。开发者借助这款预训练基础模型，能用更少数据、更低成本搭建物理人工智能系统。开发者可将 Cosmos 3 用作三类工具：1. 多模态图文大模型，实现跨模态理解与推理；2. 世界模型 / 视频基础模型，仿真物理环境、预判场景未来状态，支撑模型训练与评估；3. 世界动作模型主干网络，辅助训练机器人（核心股）完成各类专项任务。IT之家注意到，在物理人工智能主流评测基准中，Cosmos
3 表现优异。在开源模型范畴内，其世界生成精度在 Artificial Analysis、Physics-IQ、PAI-Benc
=*=*=*=*=*=
当前为第1/2页
下一页-
=*=*=*=*=*=
返回新闻列表
返回网站首页