Crawl4AI
为AI开发者和RAG构建者提供开源、LLM友好的结构化网页爬取与Markdown清洗能力
开源且对 LLM 友好的现代网络爬虫。
项目介绍
【产品介绍】 Crawl4AI 是一个功能丰富的爬虫和抓取工具，旨在： 1. 生成干净的 Markdown：非常适合 RAG 管道或直接输入 LLMs。 2. 结构化提取 : 使用 CSS、XPath 或基于 LLM 的提取来解析重复模式。 3. 高级浏览器控制 : 钩子、代理、隐身模式、会话重用—精细控制。 4. 高性能 : 并行爬取、基于块的提取、实时应用场景。 5. 开源 : 无强制 API 密钥，无付费墙—每个人都可以访问他们的数据。 【产品功能】 LLMTableExtraction：针对大型表格的革命性智能分块表格提取 增强并发性能 ：批量操作中快速完成的任务实现真正的并发改进 内存管理重构 ：优化内存工具并改进资源管理 浏览器管理器修复 ：解决了并发页面创建中的竞态条件 跨平台浏览器分析器 ：改进了键盘处理和退出机制 高级 URL 处理 ：更优地处理原始 URL 和基础标签链接解析 增强代理支持 ：支持 dict 和 string 格式的灵活代理配置 Docker 改进 ：更好的 API 处理和原始 HTML 支持