🔥🕷️Crawl4AI 是一个为 LLM 优化的高性能异步网页爬虫和数据提取工具，可以将网页内容转换为对 LLM 友好的格式（JSON、清洁的 HTML、Markdown 等） 「最近项目 v0.3.74 升级中在性能、功能和易用性方面都有显著提升，特别是在为 LLM 准备数据方面」 - 显著提升了爬取速度 - 新增了文件爬取和下载管理功能，可追踪下载状态 - 引入灵活的 Markdown 生成策略，支持自定义格式 - 新增 LLM 友好的引用功能，可自动将链接转换为编号引用 - 通过 BM25 算法优化内容提取，生成更清晰的 Markdown - 增强了图片提取能力，支持 srcset、picture 等响应式图片格式 - 新增本地文件和原始 HTML 的爬取支持 - 集成了反爬虫绕过功能 - 优化了 API 性能和缓存系统 - 引入了带有安全令牌认证的 API 网关服务 编程严选网
