英伟达GTC信息更新
昨天连夜跟硅谷的几位专家交流,获取大量的现场信息后,总结如下:
1、GB200 NVL72确实产生了大量的铜缆、连接新需求,属于纯增量。
2、GB200从明年开始交货,占NVidia销量大约10%以内,目前看,主要是AWS和Nvidia的合作,并且具有排他性(“Exclusively”,GB200为AWS量身定制?)。铜缆、连接器的实际价值规模不会超过2.5亿RMB。
3、GPU的NVLink集群规模扩大后,需要软件编译器做大量的修改工作,软件的投入规模、时间成本等,是CSP们更关心的问题。这就是CSP为什么希望延续 DGX系统架构不动的原因。
根据现场实拍图估算,单个nvl72柜子内部上方有两排交换机,共 72*2=144个端口,背面也有同样的两台交换机,也有144个端口。总共 288个800G的端口。当前用的是上一代cx7网口,对应800g光模块,800G光模块数量 = 288*2 = 576颗,这个机架里面的芯片只有72颗。芯片 : 光模块 = 1:8。如果再考虑到机柜之间光互联,则比例或将进一步提升至1:12左右。
此前大家按照72nvl全走铜算,光模块比例约1:3,但从实物图看,72nvl内部使用铜的同时,大量使用光口,光模块比例进一步大幅度提升,光进铜退依旧是长期大趋势。当前仍处于发不期,考虑到后续升级至cx8网口,800g光口也将升级至1.6t
【英伟达GTC分析师会议要点总结】
参与人:Jensen Huang(CEO)、Colette M. Kress(CFO)
行业主要转变:1)从通用计算转向加速计算,通用计算正在显著放缓;2)AI工厂(AI factories),英伟达作为系统平台,通过芯片、系统硬件、网络通信、软件&算法等层面的垂直整合&模块化组装以满足CSP、企业多样化需求。
B200上市时间:供应链准备有序进行,具体上市时间Later this year。强调产品节奏和主要客户有充分的沟通,产品转换期间的需求波动市场不应过分担忧。
市场空间(TAM):目前数据中心市场存量1万亿美元,年市场规模2500亿美元左右,但英伟达主要面向加速市场(典型的增量市场),同时需求的持续性取决于Gen AI进展、AI行业的投资回报率。
软件业务愿景:英伟达软件业务主要包括两个方面:帮助更好利用计算资源(比如推理框架.TensorRT-LLM)、通用性的算法(比如机器人、自动驾驶等)。希望软件业务未来成为very large business。
AI推理市场:Blackwell架构的新一代transformer engine 、NVLink、IB网络将是英伟达的突出竞争优势。
产品定价策略:主要是基于系统TCO因素。
GB200相较于GH200:相较于初代的GH200产品,GB200面临更为成熟的软件环境、应用场景等,故产品mix理应更加乐观。同时CPU和GPU结合方面,采用ARM架构的Grace CPU代替X86架构,主要是基于NVLink的芯片间互联能带来更高的通信带宽,X86架构则面临较多的约束。
AI算法演进方向:large context windows、state-based vectors、synthetic data generation、reinforcement learning、multistep reasoning systems等。
能源消耗:电力传输、消耗,以及散热&制冷都不值得担忧,已经有完整的供应链协同,比如Vertiv、Siemens等。
机器人的ChatGPT时刻:LLM实现知识理解&迁移、问题泛化求解能力的本质性改变,结合物理仿真(Omniverse)、强化学习等能力,产业可以走的更快。
用户92xxx62
中国队掉哪里去了
lankei
说了一整,那他这玩意有成品吗,还是在理论中。
流水中石头
没有什么意思?以前天天说手机的快充充电器一样,我的手机用大功率快充,20分钟就充满电。天天说,年年说。没有什么?
simon
算力越强,需要链接的主机越少,需要的线缆越少。