4003?1458378099

【缺陷】 论文实验 正常


李立添加于 2016-12-26 22:47

论文基于数据在不同volume上面的迁移后校验为基础,设计了三种方案:


  1. 迁移前计算源文件MD5,迁移完成后计算目的文件MD5,然后校验;
  2. 计算源文件MD5,迁移中同时计算目的文件的MD5值,完成迁移后校验;
  3. 设计流水线的方式计算源文件MD5和迁移并计算目的文件MD5,完成后校验。

对于三种方式,分别实验,分别对于低速数据卷 L 到 高速数据卷H,以及H>L, H>H,L>L

对于不同大小文件效率:



以及其他两个数据,变化趋势基本相同。流水线方式对于性能有较好提升。


流水线方式的优化:

流水线方式复制文件和获取MD5值方式对于流水线的粒度和流水线缓冲队列长度优化数据:

这是LToH的优化数据

其中行表示缓存粒度,列表示缓存队列长度,由这数据可以得出流水线的最优参数。


还有对于glusterfs io/cache使用对效率的影响:主要是获取源文件MD5值的影响,因为获取源文件MD5值时候已经读取过源文件了,此时如果缓存大小合适,则缓存命中,读取速度回大幅度提升,(用于高速网络),如L>L 的流水线模式比较:

显然对于第一次读取有一定的效率下降,但第二次读取效率提升明显,总的效率有一定提升



回复(6)
  • 5?1460204756
    尹刚 7年前

    超大文件的测试效果如何?

  • 4003?1458378099
    李立 7年前
    5?1460204756
    尹刚 7年前

    挺好的!增加到10G、20G、50G再试试

    5?1460204756
    尹刚 7年前

    <p> 纵坐标的单位是? </p>

    @尹刚(jacknudt)‍,尹老师,纵坐标的单位是花费的时间,单位是秒,忘了写,那我再测试一下超大文件

  • 4003?1458378099
    李立 7年前

    @王涛(wangtao)@尹刚(jacknudt)‍ ,尹老师,王涛老师,目前的实验做的比较多,主要两个方便我不太清除聚焦哪个点,一是通用的不同存储介质之间的迁移校验,二是针对glusterfs的一些设置提升性能。

  • 4003?1458378099
    李立 7年前

    描述 已更新。 (查看差别)

0?1470885445
登录后可添加回复
  • 当前状态 新增
  • 选定优先级 正常
  • 指派给 --
  • 里程碑 --
  • 开始日期 2016-12-26
  • 结束日期
  • 预计工时(H) 0.00 小时
  • 完成度 0%
  • 关联Commit

© Copyright 2007~2021 国防科技大学Trustie团队 & IntelliDE 湘ICP备 17009477号

问题和建议
还能输入50个字符 提交

加入QQ群

关注微信APP


×