27B 显存需求 54 → 14.1GB:谷歌发布 Gemma 3 QAT AI 模型,RTX 3090 显卡可运行 谷歌公司发布量化感知训练(QAT)优化版 Gemma 3 模型,旨在降低内存需求,同时保持高质量。该模型通过降低模型参数的数值精度,例如从 BF16 的 16 位降至 int4 的 4 位,从而大幅减少数据存储量。以 int4 量化为例,Gemma 3 27B 显存需求从 54GB 锐减至 14.1GB,Gemma 3 12B 则从 24GB 降至 6.6GB,Gemma 3 1B 仅需 0.5GB 显存。为避免量化导致性能下降,谷歌采用QAT技术,在训练过程中模拟低精度运算。Ollama、LM Studio 和 llama.cpp 等平台已集成该模型,用户可通过 Hugging Face 和 Kaggle 获取官方 int4 和 Q4_0 模型。
27B显存需求54→14.1GB:谷歌发布Gemma3QATAI
游乐看科技
2025-04-19 11:55:30
0
阅读:1