【[19星]sae:让稀疏自编码器(SAE)轻松融入任何模型的框架。它能解决模型可解释性难题,提供简单灵活的接口,让用户能以极低的代码量将SAE模块注入模型。亮点:1. 基于Hugging Face PEFT设计,无缝集成;2. 支持ZeRO优化,8×A800 GPU即可训练72B模型;3. 提供多种训练脚本,快速上手】
'SAE is inspired by a wealth of Sparse Autoencoder (SAE) work from Anthropic, OpenAI, Google, and the open-source community. SAE has become a powerful and widely-used tool in the field of explainable AI.'
GitHub: github.com/EvolvingLMMs-Lab/sae
稀疏自编码器 可解释AI 模型优化 人工智能 ai兴趣创作计划