人工智能 kimi开源了自己的模型
总体而言,还是在用DeepSeek的开源技术,DS开源的贡献真的超大!
kimi月之暗面的第一个开源的超大模型,他们还是选择了致敬DeepSeek,复用它的MLA设计。还有MoE部分,沿用了DeepSeek-V3的Shared Expert、大Sparsity和Loss-Free负载均衡。所以,最终决定,K2还是先狠狠地致敬DeepSeek了,而不是刻意地标新立异。更多的想法和创意,我们把它们做得更扎实后,在K3、K4再见了。
人工智能 kimi开源了自己的模型
总体而言,还是在用DeepSeek的开源技术,DS开源的贡献真的超大!
kimi月之暗面的第一个开源的超大模型,他们还是选择了致敬DeepSeek,复用它的MLA设计。还有MoE部分,沿用了DeepSeek-V3的Shared Expert、大Sparsity和Loss-Free负载均衡。所以,最终决定,K2还是先狠狠地致敬DeepSeek了,而不是刻意地标新立异。更多的想法和创意,我们把它们做得更扎实后,在K3、K4再见了。
猜你喜欢
作者最新文章
热门分类
财经TOP
财经最新文章