WDLab 发布了基于 SuperMicro 的 ARM 存储

当Ceph的最初设计在十年前,这个概念是用一些温和的处理能力的“智能”磁盘驱动器可以存储对象而不是块,并采取复制,迁移,或在系统内的数据修复了积极的作用。与传统的磁盘驱动器,一个聪明的基于对象的驱动器可以与在对等网络的方式在系统中其他驱动器的坐标建立更可扩展的存储系统。

记者今天从WDLabs以太网连接的硬盘驱动器发出这种架构成为现实。WDLabs已经从早期的生产线装配在500硬盘并装配它们放入一个4 PB运行宝石(Jewel)与原型BlueStore存储后端(3.6 PIB)的Ceph集群。WDLabs一直致力于验证需要存储设备中应用一个开源的计算环境,现在开始了解使用情况作为思想领袖,如与早期单位红帽的工作。该测试旨在证明该第二代会聚微服务器已经成为分布式存储使用情况下,像Ceph的一个可行的解决方案。建立一个开放的平台,可以运行开源软件的概念的一个重要基础。

大型4 PB集群WDLabs,Red Hat和超微之间的合作将有助于推动进一步的学习和改进这个新的和潜在的破坏性产品。通过允许存储服务直接在驱动器上运行,传统服务器的整个一层可以消除,通过简化顶架式交换机的堆叠整体向上,并通过空间效率的提高和元件和电力成本的降低分红。

ARM的社会贡献相当多的代码的Ceph在过去的两年中,使其对前一代32位和新的64位架构上运行良好。我们的工作并不完整,但我们认为结果是相当令人鼓舞!

该WDLabs融合微服务器HE8

该融合微服务器HE8是建立在现有的生产Ultrastar®HE8平台上的微型计算机。一个Ceph集群中使用的主机是在1.3 GHz的1 GB内存,直接焊接到驱动器的PCB运行的双核Cortex-A9 ARM处理器的(如图)。选项包括2 GB内存和ECC保护。它包含了ARM NEON协处理器,以帮助纠删码计算和XOR和加密引擎。

WaspV3_PCBA-1

驱动PCB包括标准的磁盘控制器硬件,以及运行Debian Jessie(和Ceph的)一个额外的ARM的SoC。该连接器通过以太网而不是SATA。

该接口是双重的1 GbE端口SGMII与兼容机箱达到2.5千兆以太网的能力。物理连接器是相同的现有的SAS / SATA装置,但与正在标准化,由其它驱动器制造商采用了新的引出线。磁盘架都已经可以从多个机箱供应商。

WASP-8TB机顶博特

该驱动器有一个标准的3.5“的形式因素。

默认的操作系统是Linux的Debian的8.0(Jessie),并支持PXE引导。

504 OSD测试集群和测试设置

4 PB 504节点聚合微服务器HE8集群由42超微1048-RT机箱,通过3超微SSE-X3348T交换机互相喂10千兆以太网的顶级机架公网固定。另一个相同的交换机互连专用后端网络用于内部集群相关的任务。每个驱动器有两个1Gbps的接口,一个用于公共网络,一个用于集群(复制)网络。监视器(只有一个在该试验中)被一个常规的服务器上运行。

前视图 - 25新机柜小

25超微1U机箱:前置集群

客户端已经安装工作负载应用到系统,但到目前为止还没有能够与交通完全淹没集群。有18个x86上,每10 Gbps接口。工作量是由产生’地区反兴奋剂组织工作台,’与缺省写入大小(4 MB)和每个客户端128-196线程,运行5分钟每个数据点。

群集正在运行Ceph的宝石(v10.1.0),每个驱动器一个CEPH-OSD的早期版本,采用了新的实验BlueStore后端更有效地利用原始磁盘(/ dev / sda4)。配置相对来说比较简单,虽然我们做了一些轻微的调整,以减少设备上的内存消耗:

osd map cache size = 40
osd map max advance = 32
osd map message max = 32

在CEPH状态输出看起来是这样的:

整个集群小

组装和测试簇

 

性能

第一组测试显示总读写集群的带宽,通过“反兴奋剂组织板凳”看到的。目前仅180 Gbps的客户端都连接,这就是为什么吞吐量比例开始稳定下来约180节点。

写缩放

如果我们看一下每OSD标准化的写入带宽,我们在每个驱动器上获得体面(虽然不惊人)的吞吐量。读取性能非常相似。

写体重每驱动器

读取性能非常相似:

阅读体重每驱动器

扩大客户的工作量,但保持一小部分的20屏上显示集群中告诉我们,每个驱动器大约90 MB /秒帽出来:

写饱和

 

我们也做了一些实验,使用擦除编码,而不是复制。我们预计,能力和密度优化的集群将是一个令人信服的用例为这些驱动器。下图显示了各种纠删码集群在总写入带宽。吞吐量比纯复制低,但对于许多用例已经足够了。还有很多空闲的CPU时间对负载下的驱动器,因此直到我们提高网络和客户端功能,我们不会知道在系统中的瓶颈。

EC写道:

复制的写入是快了一点:

代表写

接下来是什么

该融合微服务器HE8和兼容的机箱是通过有限的体积现已WDLabs店通过接触WDLabs代表。他们现在正在寻求基于早期客户采用和反馈下一代解决方案,以及与主要供应商和客户,可以帮助发展该产品的合作。

该Ceph的开发社区非常高兴看到Ceph的不同的硬件平台和架构上运行,而且我们享受与WDLabs团队合作,证明这种部署模式的可行性。有很多的机会向前发展,以优化的Ceph的低功耗,融合平台的性能和行为,我们期待着进一步的合作与硬件社区证明了下一代横向扩展的存储架构。

本文转载自Ceph社区 http://ceph.com/community/500-osd-ceph-cluster/

Leave a Comment

电子邮件地址不会被公开。