Ceph for ARM平台高性能存储解决方案

摘要:
随着数据的不断增长,以高效的方式存储今天的数据量,是一个挑战。许多传统存储解决方案不能满足需求,迫切需要一种新的方法来管理现今的 数据量,为用户提供合理的访问时间以及较低的成本。
本文总结了Ceph存储解决方案的安装和性能基准测试,Ceph是 一个高度可扩展性,开放源码的软件定义的存储解决方案,能够 提供基于对象,块和文件系统的统一的分布式的存储集群服务。 本文的基准测试侧重于低功耗的设计(ARM CPU )以及侧重于网 络架构的设计。经过测试,我们发现,一个用户产生的读吞吐量可以占满10Gbps以太网网络,而写的性能很大程度上是由集群 的硬盘来决定的。即使是一个中等规模的分布式Ceph集群,我 们认为也需要一个40GB的集群网络。对于功耗,通过对比发现 使用APM的64Bit ARM Server功耗比(INTEL Xeon E3)低50%。
背景:
软件定义的存储解决方案是存储大量数据的一个新兴的做法。当 代网络,大数据和云计算的数据呈指数增长,而每天增长百万兆 字节的数据是常见的。传统的解决方案不足以满足这些存储需 求,迫切需要一种有合理的成本,一种更有效的解决方案,如可伸缩扩展的软件定义存储解决方案Ceph。
Ceph是唯一能同时提供对象,块,和文件系统的存储。Ceph是 高度可靠的,易于管理的开源存储系统。Ceph可以改造公司的IT 基础设施来管理海量数据。Ceph提供非常好的可扩展性–成千 上万的客户端访问或达到Exa-bytes级别的客户数据量。Ceph存 储集群可以容纳大量的利用商品硬件和守护进程的分布式存储 节点,他们之间互相复制分发数据。Ceph监控在Ceph存储集群 的也具有分布式的特点,从而保证高可用性。 网络配置:
一个高度可扩展的容错存储集群,网络架构和运行Ceph的MON 和Ceph OSD一样重要。对于Ceph存储集群的主要指标就是高扩 展性和高可用性。因此,网络显然必须有能力处理预期的客户端 数量和每个客户端的吞吐量。该网络还必须处理Ceph OSD的心 跳,数据复制,集群再平衡以及故障恢复。在正常操作中,一个 单独写主OSD的操作会间接导致写非主的OSD,写的次数基于我 们的复制因子。因此,集群网络的流量显著的超过了公众网络在 正常工作条件下的流量。
在公共网络中,Ceph客户端读取和写入数据到Ceph OSD守护进 程以及发送OSD心跳信息,而在集群网络,Ceph OSD守护进程 彼此检查Ceph OSD的心跳信息,当系统失败的时候,发送状态 报告给监视器,复制对象,重平衡集群以及backfill和恢复。 我们基于10Gbps和40Gbps的网络搭建了一个基于APM公司64bit ARM ServerCPU的测试环境,目标是测试在此低功耗ARM server CPU 架构下,基于高性能的网络架构Ceph的能力。 Ceph安装:
Ceph 0.80.10 (Firefly) Ceph-deploy 1.4.0
Each node 5 OSDs (HDDs)
1 Journal (SSD)
3 Monitors
硬件:
(3)Ceph OSD nodes
CPU: 1x8Cores@2.4GHz(APM Xgene2 64bit ARM V8 server CPU) DDR3 : 32GB
Media:
6x 1000GB, 7200RPM Hard drives 5xOSD,1xBoot Drive
1x200GB, INTEL DCS3700
交换机:
40GbE: Mellanox®MSX1012, 1U, 12 QSFP+ ports,
cansplitcapability up to 48 ports of 10GbE
网卡:
MellanoxConnectX®-3Dual Port 10G/40Gb Ethernet NICs,MCX314A-BCCT
管理和客户端节点:
CPU: 8x Xeon E5620
DRAM: 64GB
Media:
1x 1000GB 10K RPMHard drives, Boot drive
部署:
按照官方文档安装:
http://docs.ceph.com/docs/master/start/quick‐ceph‐deploy/
IO测试:
写测试(write):指测试创建并写入一个新文件读测试(read):测试读取一个已存在文件的速度
随机读测试(Random read):测试随机从一个文件中的不同位置的访问的性能,这项会被系统的 cache,磁盘数量,访问延迟等因素影响。
随机写测试(Random write):测试随机新建文件中的不同位置的写入性能,这项会被系统的 cache,磁盘数量,访问延迟等因素影响
测试目的:
测试 Ceph IOPS 的性能: 分别测试了写,随机写,读,随机读的在 4K,16K,128K 下的 IOPS 测试 Ceph 系统吞吐率的性能: 分别测试写,随机写,读以及随机读在块为 512K,1M ,4M 下的性能。
测试结果:
  总结:
通过此次 Ceph 测试,可以看出 Ceph 架构在高带宽下可以获得很好的性能,同时由于测试服务器是基于 APM ARM server CPU 平台的,功耗和成本都可以节省不少,具有较高的性价比。
附录:
富通 Ceph 管理界面  
APM (Applied Micro)厂商官网: http://www.apm.com/ 本文作者联系方式:
wanghl@futong.com.cn

Leave a Comment

电子邮件地址不会被公开。