【缺陷】 抓取页面html的bbs_csdn和question_lupaword的爬取模板已完成,准备部署爬取 正常
每完成一个爬取模板需要重写4个java源文件,部署时需要将这4个源文件放到爬虫框架的相应包中,运行即可。但是还不是一键部署
这两个网站的爬取模板还是基于之前的爬取框架,最新的自动增量爬取框架正在测试中,如果经测试性能稳定,以后的爬取模板都会基于该框架完成,然后部署爬取。
另外,爬虫的部署能否一键搞定?
很好!是基于最新的爬虫框架吗?
© Copyright 2007~2021 国防科技大学Trustie团队 & IntelliDE 湘ICP备 17009477号
加入QQ群
关注微信APP
预览