具有“ 计划的数据爬网”功能的应用

Ambar

Ambar

Ambar是一个智能文档档案库，具有自动爬网，OCR，重复数据删除和超快速全文本搜索功能。
Screaming Frog SEO Spider

Screaming Frog SEO Spider

Screaming Frog SEO Spider是一个小型桌面程序（PC或Mac），可从SEO角度抓取网站的链接，图像，CSS，脚本和应用程序。