123
Mixnode

Mixnode

Mixnode是一个快速,灵活,可大规模扩展的平台,用于从Web提取和分析数据。Mixnode使您可以将Web上的所有资源视为数据库表中的行;具有数十亿行的巨型数据库表,您可以使用标准结构化查询语言(SQL)进行查询。因此,您无需运行网络搜寻器/爬虫,就可以使用超灵活的语言编写简单的查询,以从网络中检索各种有趣的信息。

分类目录

Linux版Mixnode的替代品

grab-site

grab-site

抓取站点是用于将网站归档到WARC文件的爬网程序。它包括一个用于监视多个爬网的仪表板,并支持在爬网期间更改URL忽略模式。