【任务】 汇总程序优化 正常
项目和帖子的汇总目前策略,以项目汇总为例:
1.将汇总目标表中的所有url_md5读到内存Set中;
2.读取各项目分表的记录,判断当前url_md5在内存Set中是否存在,若存在则根据url_md5更新数据库汇总表中的相应记录;若不存在则将当前url_md5写入Set,并将当前记录插入数据库汇总表。
由于项目表和帖子表数据规模较大,初始汇总时效率较低。需尝试摸索更快的汇总策略。
收到
© Copyright 2007~2021 国防科技大学Trustie团队 & IntelliDE 湘ICP备 17009477号
加入QQ群
关注微信APP
预览