问题是有新的帖子增加后对应的列表页面会变化啊，比如你原来爬到第10页，新增了200个帖子，你后续爬的应该就不是第11页开始了

镜像爬取历史数据的时候：从配置文件中读取列表页的范围之后（startIndex，endIndex)，就用for循环持续抓取。没有别的操作，就是爬下来。后续的抽取部分会和和数据库比较，如果这个页面变化了，就存，把之前的设置为历史

> wangtao 写到： > 1. 对于增量爬取这样合并没有问题，但是后续我们还会不断增加新的知识分享站点。拿StackOverflow来说，假定一次爬取10个列表页，然后解析有500个详情页，然后爬取500个详情页。完成之后再进入下一轮爬新的列表页。在爬500个详情页的时候StackOverflow又新增了1000个帖子，对应的列表页发生了变化。这时如何确定第二轮列表页爬取的位置，保证不会遗漏或者重复？ 现在的历史数据爬取策略是如何解决这个问题？

1,同时爬的想法:镜像爬的时候，如果数据量很大，耗费的时间较长，就可能会丢失许多更新的页面。当爬新站点的时候，同时开启两种爬取，实时更新和历史数据都会被抓取； 2,进行局部去重是为了避免短时间内重复抓取同一个页面造成白白浪费ip访问，降低被封ip的几率。王老师所说的情况是涉及到页面更新了，这样的页面，目前的爬虫也是会直接爬下来，因为后面的t_knowlege几个模块会进行去重更新。全局的url去重和有机制的页面更新，咱们的系统好像还没有搞过。

1。 “镜像爬取的同时也增量爬”是怎么设计的？ 2。局部去重会有效吗？你第1次爬的某个页面在第10次爬的时候由于某个属性进行了修改因此又出现在了列表页首页，仅与上次爬的进行对比如何判断是重复还是更新？

1,本次更新是针对增量模式下的，对于新的站点我们可以用之前的爬虫爬；或者用目前正在考虑的一种设计：镜像爬取的同时也增量爬。 2,因为只是盯着列表页的第一页看，所以只进行局部去重（与上一次爬的的进行对比）即可知道是否重复或者更新

1. 对于增量爬取这样合并没有问题，但是后续我们还会不断增加新的知识分享站点。拿StackOverflow来说，假定一次爬取10个列表页，然后解析有500个详情页，然后爬取500个详情页。完成之后再进入下一轮爬新的列表页。在爬500个详情页的时候StackOverflow又新增了1000个帖子，对应的列表页发生了变化。这时如何确定第二轮列表页爬取的位置，保证不会遗漏或者重复？ 2.详情页url不持久化如何判断后面爬取一个页面是否与前面的重复或者有更新？