当前位置:seo外包 > SEO技巧

各种文件系统上图像文件访问性能的比较

分类:SEO技巧  发布时间: 2013-11-07 23:40:00

  研究与共享:比较各种文件系统上的图像文件访问性能

各种文件系统上图像文件访问性能的比较 第1张

  1)概述

  在产品线的图片服务器中,存储了数亿个图像文件,每个文件的大小为0。在5k-100k之间,1K以下的文件数量约为50%,1-4K文件的数量约为40%,4K以上10%,大量的文件存储对文件系统的性能提出了很高的要求。特别研究图像服务中当前行业常用系统的性能。

  由于在线闪存卡的故障率很高,因此,寻找替代品,磁盘能否满足在线系统的需求?它是否满足未来的可扩展性(容量, 文件数)?是否可以更好地处理数据同步使用时间?

  2)预期解决的问题

  1. 磁盘可以更换闪存卡吗?

  已经发现1Tflash卡的故障率极高。严重的话 一周多次损坏修复数据需要很长时间,至少需要6个小时。

  2. 测试图像业务中jfsreiserfsxfsext2文件系统的性能(读取和写入)。

  3)测试方法和结果

  3.1种测试方法

  1. 模拟在线环境,执行压力测试

  建立与当前在线系统相同的系统环境,在线提取所有日志7天,使用压力工具(可以返回所有模拟数据)来模拟在线环境以进行压力测试(连续压力超过2小时)。

  2. 使用磁盘测试工具,执行设备性能测试

  3. 比较磁盘占用的空间和inode节点的数量

  4. 通过在线数据同步,测试同步时间

  3.2结果分析

  1. 使用磁盘可以完全取代闪存

  从模拟在线产品的压力得出的结论是,结合使用带有jfs和ext2文件系统的HP机器可以完全满足当前在线系统以及未来的需求。下表:

  注意:使用磁盘充电缓存需要20分钟,高速缓存装入期间,lighttpd的最大压力为2000。

各种文件系统上图像文件访问性能的比较 第2张

  2. 图像服务的当前瓶颈在于网卡

  在模拟在线压力测试期间,除dell-reiserfs之外的所有文件文件系统都可以达到网卡流量1G的峰值,随着时间的延迟,平均会下降,但是CPU会逐渐变得空闲

  3. 在图像服务中各种文件系统性能的业务测试中,得到以下结果

  1)ext2在闪存卡上的性能相对出色

  2)磁盘上的jfs性能更适合当前的在线业务

  3)Reiserfs占用最小的空间,比其他文件系统少60%-65%的空间