【功能】 通用html爬虫改造 正常
html-url crawler.jpg
主题 从 通用html改造 变更为 通用html爬虫改造
状态 从 新增 变更为 已解决
% 完成 从 0 变更为 100
1、所有爬虫参数可动态配置。 2、表名和爬取规则通过配置文件管理。 3、html爬虫从数据库读取url,自身不发现链接,爬取一个url标记一个。 4、列表页爬虫和Html爬虫可以并行跑。
© Copyright 2007~2021 国防科技大学Trustie团队 & IntelliDE 湘ICP备 17009477号
加入QQ群
关注微信APP
预览