全球人工智能算力芯片龙头英伟达周二宣布 ,推出专为长上下文工作负载设计的专用GPU Rubin CPX,用于翻倍提升当前AI推理运算的工作效率,特别是编程、视频生成等需要超长上下文窗口的应用。
英伟达CEO黄仁勋表示 ,CPX是首款专为需要一次性处理大量知识(数百万级别tokens),并进行人工智能推理的模型而构建的芯片 。
需要说明的是,Rubin就是英伟达将在明年发售的下一代顶级算力芯片,所以基于Rubin的CPX预计也要到2026年底出货。下一代英伟达旗舰AI服务器的全称叫做NVIDIA Vera Rubin NVL144 CPX——集成36个Vera CPU 、144块Rubin GPU和144块Rubin CPX GPU。
(NVIDIA Vera Rubin NVL144 CPX机架与托盘 ,来源:公司博客)
英伟达透露,搭载Rubin CPX的Rubin机架在处理大上下文窗口时的性能,能比当前旗舰机架GB300 NVL72高出最多6.5倍 。
据悉 ,下一代旗舰机架将提供8exaFLOPs的NVFP4算力,比GB300 NVL72高出7.5倍。同时单个机架就能提供100TB的高速内存和1.7PB/s的内存带宽。
言归正传,英伟达之所以要在Rubin GPU边上再配一块Rubin CPX GPU ,自然是为了显著提升数据中心的算力效率——用户购买英伟达的芯片将能赚到更多的钱。英伟达表示,部署价值1亿美元的新芯片,将能为客户带来50亿美元的收入 。
为何需要不同的GPU?
作为行业首创之举 ,英伟达的新品在硬件层面上分拆了人工智能推理的计算负载。
英伟达介绍称,推理过程包括两个截然不同的阶段:上下文阶段与生成阶段,两者对基础设施的要求本质上完全不同。
上下文阶段属于计算受限(compute-bound) ,需要高吞吐量的处理能力来摄取并分析大量输入数据,从而生成首个输出token 。相反,生成阶段则属于内存带宽受限(memory bandwidth-bound),依赖高速的内存传输和高带宽互联(如 NVLink) ,以维持逐个token的输出性能。
当前顶级的GPU都是为了内存和网络限制的生成阶段设计,配备昂贵的HBM内存,然而在解码阶段并不需要这些内存。因此 ,通过分离式处理这两个阶段,并针对性地优化计算与内存资源,将显著提升算力的利用率 。
据悉 ,Rubin CPX专门针对“数百万tokens”级别的长上下文性能进行优化,具备30petaFLOPs的NVFP4算力、128GB GDDR7内存。
英伟达估计,大约有20%的AI应用会“坐等 ”首个token出现。例如解码10万行代码可能需要5-10分钟 。而多帧、多秒的视频 ,预处理和逐帧嵌入会迅速增加延迟,这也是为什么当前的视频大模型通常仅用于制作短片。
英伟达计划以两种形式提供Rubin CPX,一种是与Vera Rubin装在同一个托盘上。对于已经下单NVL144的用户 ,英伟达也会单独出售一整个机架的CPX芯片,数量正好匹配Rubin机架 。
(文章来源:财联社)
股票怎么看一个公司的估值:配资炒股平台首选配资-中国银河证券:消费电子板块新品密集发布 关注AI端侧创新带来的投资机会
金华配资公司:股票配资第一门户-中美发布联合声明:双方再次暂停实施24%的关税90天 保留剩余10%的关税
股票杠杆平台app下载:杠杆式趋同交易-十连板“大牛股”再发公告!芯片背景公司入主 提示多项风险
配资178股票平台:好公司的股票为什么没人炒-阿里AI被指危及安全背后:合作>竞争!
股票配资平台门户:什么手机炒股票好用-业界:汽车供应链需谨防芯片短缺、电池技术迭代致产能过剩等风险
配资炒股优质平台:安全炒股股票配资门户-“数据是AI的新战场” AI高质量数据集交易爆发式增长 需求集中于行业知识底座构建
买股票的app有哪些:配资安全炒股配资平台门户网-社保基金2025三季报持仓动向曝光:重仓高端制造与周期龙头 新进基建新能源消费标的
全国前10正规配资公司平台:股票开户哪家佣金最低-苹果被曝首款折叠iPhone出货量或达千万台 2028年将发布折叠iPad
美港通证券-美港通证券平台-专业网上配资提示:文章来自网络,不代表本站观点。
美港通证券-美港通证券平台-专业网上配资㉖投资者在参与股票配资时,应设定明确的止损点和盈利目标,避免过度冒险或错失良机。
华金证券迎来新任研究所所长。3月20日,中证协官网已更新相关执业注册信息,华金证券已聘任杨烨辉担任公司总裁助理以...
记者辛圆给补贴、建平台,为了吸引更多高层次人才,各地纷纷放出“大招”。据央广网周一发布消息,湖...
...
名创优品3月21日在港交所公告,2024年收入同比增长22.8%至169.94亿元;毛利同比增长34.0%至76.371...
界面新闻记者|安震消费贷将迎...
2025年3月7日,三达膜(688101.SH)公告称,公司因与蓝晓科技的合同纠纷被诉至法院,要求支付5861.15万元...
根据新股发行安排,今日有2只新股申购,新亚电缆(001382.SZ)发行价格为7.40元/股;矽电股份(301629.S...
记者|赵阳戈莱特光电(688150.SH)实控人王亚龙、李红燕夫妇共同控制的宇隆光电近日再度IPO辅导备...
界面新闻记者|郭净净继2023年9月撤回科创板IPO申请后,疫苗生产商江苏中慧元通生物科技股份有限公司(简称...
记者|沈溦兜兜转转近十年,A股IPO未果后,国内口腔材料企业沪鸽口腔最终决定转战港交所。招股...
当地时间3月11日,美国白宫贸易顾问纳瓦罗表示,12日不会对加拿大钢铝产品征收50%的关税。当天早些时候,加拿大...
李强主持召开国务院常务会议,研究建立健全涉企收费长效监管机制有关举措。会议指出,加强涉企收费监管是降低企业经营成本、优化...
记者辛圆保护知识产权就是保护创新。3月21日,国家知识产权局、教育部等七部门发布《关于进一步优...
文丨财联社目前共有18家上市券商发布了半年报。其中,浙商证券上半年实现营收84.56亿元,光大证券、东方...
记者辛圆中国人民银行授权全国银行间同业拆借中心公布,3月20日贷款市场报价利率(LPR)为:1年期LP...