使用开放代码进行控制
定制 Elastic 开放式网络爬虫(Open Crawler)以满足您的需求。在处理大型文档、运行转换并以所需格式检索数据的同时,检查、修改并为您的项目做出贡献。

灵活且快速:Open Crawler 的优势
受益于不受限制的索引命名以及在爬取之前使用自定义映射的能力。通过将爬取结果批量索引到 Elasticsearch 中,而不是逐页索引来提升性能。

轻松管理部署
使用简单的 CLI 命令以编程方式管理您的开放式网络爬虫。使用 Terraform 或 Puppet 轻松扩展部署 — 并根据需要进行扩展或缩减。消除不必要的依赖以简化管理。将其部署到任何地方,包括无服务器环境,并通过小型、简单的工具轻松连接。
