我的Ceph存储历险记2:为菜鸟准备的架构说明

本文由Ceph中国社区-王存鹏 翻译。英文出处:My adventures with Ceph Storage http://www.virtualtothecore.com/en/adventures-ceph-storage-part-2-architecture-dummies/  欢迎加入CCTG      在前面本系列的第一部分中,我为大家介绍了Ceph这一开源横向扩展对象存储。在这第二部分,我将要为大家解说Ceph的架构。我花了好一阵子才完全理解Ceph是如何构建的、它都包含哪些组件、这些组件都有哪些功能。同样地,我将会尝试给你们用简单的方式…
Read more

Ceph存储历险记–第一部分:介绍

本文由Ceph中国社区-王存鹏 翻译、耿航校稿。 英文出处:My adventures with Ceph Storage 欢迎加入CCTG 加入Veeam前,我在一个完全基于VMwarevSphere/vCloud的数据中心工作。就像我在前面帖子“服务提供商不是大公司”里面介绍的那样,服务提供商的需求有时与那些大型公司并不相同,因此最终我们选择使用了不同的技术。我最终考虑的项目之一是Ceph。我们一直在寻找一个可以横向扩展的存储系统,这一存储系统应该能够线性扩展,而不是痛苦的向上扩展升级。对存储DIY(Do ItYourself)的主意没有吓到我们,因为我们有相应的IT技…
Read more

XSKY 为Ceph Upstream添加InfiniBand RDMA互联支持

来源:ZD至顶网存储频道 2016年10月21日 10月19日,国内软件定义存储企业XSKY开源了历时近1年时间研发的基于Ceph的IB RDMA互联支持,并且向Ceph社区提交了IB RDMA的协议栈代码。基于该部分代码,Mellanox研发部门表示也会参与其中,双方将共同孵化和完善基于AsyncMessenger的网络通信引擎,试图大幅度提升IO路径上的网络性能。此外,XSKY将协同一些企业用户基于此进行大规模Ceph集群测试。 XSKY从成立至今在Ceph社区当中一直围绕高性能方面积极贡献代码,此次将IB RDMA的开源将会对加速Ceph高性能的步伐产生极大意义。 RDMA(Remote…
Read more

从传统运维到云运维演进历程之软件定义存储(四)

前面系列已经讲完了硬件选型、部署、调优,在上线之前呢需要进行性能存储测试,本章主要讲述下测试Ceph的几种常用工具,以及测试方法。   关卡四:性能测试关卡 难度:四颗星 说起存储性能永远是第一重要的问题。关于性能有以下几个指标:带宽(Bandwidth)、IOPS、顺序(Sequential)读写、随机(Random)读写、延迟(latency)、持续吞吐(Sustained Throughput)、突发处理能力(Burst I/O)等等。 1、iops&latency    这是两个衡量存储性能最基本的概念。IOPS (Input/Output Per…
Read more

从传统运维到云运维演进历程之软件定义存储(三)下

上回书讲到了运维小哥的调优方法论(上),对于Ceph运维人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph运维。调优是件非常头疼的事情,下面来看看运维小哥是如何调优的。 关卡二:部署调优关之调优(二) 难度:五颗星 优化方法论 通过对网上公开资料的分析进行总结,对Ceph的优化离不开以下几点: 硬件层面 硬件规划 SSD选择 BIOS设置 操作系统层面 Linux Kernel 内存 Cgroup 网络层面 巨型帧 中断亲和 硬件加速 Ceph层面 Ceph Configurations PG Number调整   网络层面优化 这里把网络部分的优化独立出来写,主要原因是网…
Read more

金秋十月北京、深圳Ceph Meetup走起

金秋十月,继北京、上海、成都之后Ceph中国行布道之旅再次起航,为广大Cepher谋福利,本次巡演之旅城市是北京、深圳。邀请业界大牛为大家奉上精彩的主题演讲,记得来赴约! 北京站沙龙 时间:  2016-10-15  13:30 地址:  北京市海淀区科学院南路2号融科资讯中心A座8层(英特尔) 费用:  免费 主题 ☑ Ceph Multi-site Overview  分享嘉宾:UMCLOUD存储架构师,朱荣泽 ☑ EC Overwrite进展 分享嘉宾:XSKY存储工程师,翟天善 ☑ 容器化Ceph 分享嘉宾…
Read more

从传统运维到云运维演进历程之软件定义存储(三)上

上回书讲完了部署,部署完成之后,就开始了无休止的调优,对于Ceph运维人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph运维。调优是件非常头疼的事情,下面来看看运维小哥是如何调优的,运维小哥根据网上资料进行了一个调优方法论(调优总结)。 关卡三:部署调优关之调优(一) 难度:五颗星 优化方法论 通过对网上公开资料的分析进行总结,对Ceph的优化离不开以下几点: 硬件层面· 硬件规划· SSD选择· BIOS设置操作系统层面· Linux Kernel· 内存· Cgroup网络层面· 巨型帧· 中断亲和· 硬件加速Ceph层面· Ceph Configurations· PG Num…
Read more

从传统运维到云运维演进历程之软件定义存储(二)

上回书说到一般企业使用Ceph会经历几个关卡:硬件选型 —— 部署调优—— 性能测试  架构灾备设计 —— 部分业务上线测试 —— 运行维护(故障处理、预案演练等)。 今天来重点讲下部署调优关卡。许多Ceph新手在测试环节以及预生产的时候会对Ceph集群的部署以及调优产生困扰,A公司运维小哥也遇到了部署和调优问题。下面来看看A公司运维小哥是如何解决这个问题的。 关卡二:部署调优关(部署) 难度:三颗星 上篇文章开头我也说到了,部署Ceph是新手的噩梦,对于传统运维来说部署一套Ceph是很难的事情,A公司运维小哥在官网以及Ceph中国社…
Read more

从传统运维到云运维演进历程之软件定义存储(一)

运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人员转型到云运维人员,尤其是软件定义存储的运维之间经历的沟沟坎坎。 在传统企业中,业务运维工程师(Operations) 主要负责监控、维护并确保整个业务系统的可靠性,同时提出对系统架构的优化要求、提升部署效率、优化资源利用率并提高整体的ROI。 随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展,数据中心的扩容建设进入高峰期,云数据中心运维需求应运而生。传统的运维人员,以往接触的更多是硬件,如服务器、设备和风火水电…
Read more