状态 从 新增 变更为 正在解决
优先级 从 正常 变更为 高
平台页面加载近两天遇到严重效率问题。经过对各个环节的分析,得出原因如下: 1. 项目数增至35万,帖子240万。首页加载需对项目排序,因此效率降低; 2.项目浏览数是通过关联到的帖子的总浏览数计算得到,关联数增多,计算变慢,效率降低; 3.最近100和130两台服务器都频繁出现卡顿和失去连接,很可能是由于跑的程序太多,数据吞吐量大,负载过重。(不排除部分程序优化不够,占用内存或CPU过高) 初步解决方案: 1.更严格控制匹配数量,舍掉关联度不高的关联帖子; 2.优化数据库查询语句,增加了相关索引; 3.正在学习MySQL的物化视图,需用到Justin Swanhart 的开源工具Flexviews。希望能取得较好效果。 为了实时更新已有项目和帖子的信息,数据通路做了一定改变,即把tknowlege和tproject中的数据直接汇到平台数据库,后续数据量会越来越大,可能会有更严重的效率问题,我们目前的解决方案能否解决好问题就看近几天的效果了,不久的将来可能需要更多硬件支持和尝试并行计算框架。
现在还存在这个问题,过很长时间都打不开,然后页面返回504 gateway-timeout错误。 是因为新增数据需要建立索引的问题还是其他环节出现问题了?数据建立索引是可以增量添加索引的吧,现在的索引策略是什么?