小鹏座舱有一个可以部署30B模型参数的图灵AI芯片有什么用?
类比了一下,DeepSeek-R1的满血版是671B,经过蒸馏后,第一档成年版是70B,第二档青春版是32B。
如果小鹏说的216G内存,是类似显存的高带宽内存,再加上专门为Transformer架构设计的NPU加速,在小鹏车端,本地部署一个32B的DeepSeek,应该是行得通的了。
大家可以脑补一下,在车端有一个本地部署的DeepSeek,可以低时延的跟你语音对话,这体验绝了啊。
小鹏座舱有一个可以部署30B模型参数的图灵AI芯片有什么用?
类比了一下,DeepSeek-R1的满血版是671B,经过蒸馏后,第一档成年版是70B,第二档青春版是32B。
如果小鹏说的216G内存,是类似显存的高带宽内存,再加上专门为Transformer架构设计的NPU加速,在小鹏车端,本地部署一个32B的DeepSeek,应该是行得通的了。
大家可以脑补一下,在车端有一个本地部署的DeepSeek,可以低时延的跟你语音对话,这体验绝了啊。
猜你喜欢
【11评论】【2点赞】
【74评论】【18点赞】
【7评论】【2点赞】
作者最新文章
热门分类
汽车TOP
汽车最新文章