从传统运维到云运维演进历程之软件定义存储(三)上

上回书讲完了部署,部署完成之后,就开始了无休止的调优,对于Ceph运维人员来说最头痛的莫过于两件事:一、Ceph调优;二、Ceph运维。调优是件非常头疼的事情,下面来看看运维小哥是如何调优的,运维小哥根据网上资料进行了一个调优方法论(调优总结)。 关卡三:部署调优关之调优(一) 难度:五颗星 优化方法论 通过对网上公开资料的分析进行总结,对Ceph的优化离不开以下几点: 硬件层面· 硬件规划· SSD选择· BIOS设置操作系统层面· Linux Kernel· 内存· Cgroup网络层面· 巨型帧· 中断亲和· 硬件加速Ceph层面· Ceph Configurations· PG Num…
Read more

从传统运维到云运维演进历程之软件定义存储(二)

上回书说到一般企业使用Ceph会经历几个关卡:硬件选型 —— 部署调优—— 性能测试  架构灾备设计 —— 部分业务上线测试 —— 运行维护(故障处理、预案演练等)。 今天来重点讲下部署调优关卡。许多Ceph新手在测试环节以及预生产的时候会对Ceph集群的部署以及调优产生困扰,A公司运维小哥也遇到了部署和调优问题。下面来看看A公司运维小哥是如何解决这个问题的。 关卡二:部署调优关(部署) 难度:三颗星 上篇文章开头我也说到了,部署Ceph是新手的噩梦,对于传统运维来说部署一套Ceph是很难的事情,A公司运维小哥在官网以及Ceph中国社…
Read more

从传统运维到云运维演进历程之软件定义存储(一)

运维是企业业务系统从规划、设计、实施、交付到运维的最后一个步骤,也是重要的步骤。运维从横向、纵向分可以分为多个维度和层次,本文试图抛开这纷繁复杂的概念,讲述一个传统的企业级运维人员转型到云运维人员,尤其是软件定义存储的运维之间经历的沟沟坎坎。 在传统企业中,业务运维工程师(Operations) 主要负责监控、维护并确保整个业务系统的可靠性,同时提出对系统架构的优化要求、提升部署效率、优化资源利用率并提高整体的ROI。 随着云计算、大数据以及新兴的区块链等技术体系的迅猛发展,数据中心的扩容建设进入高峰期,云数据中心运维需求应运而生。传统的运维人员,以往接触的更多是硬件,如服务器、设备和风火水电…
Read more

Ceph ansible现在可以收缩你的集群了

本文由Ceph中国社区-Leon 翻译、半天河校稿。 英文出处:Ceph ansible can now shrink your cluster 欢迎加入CCTG Ceph ansible正在快速赶上ceph-deploy的特性。上周,我讨论了对dm-crypt的支持。直到最近,才实现了收缩一个Ceph集群的特性,移除一个或多个监控节点/OSD节点。我们来看下这个新特性。 我最近合并了两个新的playbook,一个用来收缩监控节点,另一个则用来收缩OSD节点。我发现在同一个playbook中做这两件事会让人困惑。尽管这些playbook的大部分是相同的,由于以下几个原因,我还是觉得把…
Read more

使用GNU-Parallel来改变OSD数据目录所有权

本文由Ceph中国社区-LittleWindSXF 翻译、小猴子校稿。 英文出处:Chown Ceph OSD data directory using GNU Parallel欢迎加入CCTG 在Ceph的Jewel(10.2.X)版本之前,守护进程都是运行在根用户root之下,这是一个潜在的安全隐患。因此在Jewel中,所有守护进程(MON和OSD)都使用特权用户ceph来运行。 这意味着使用Jewel版本的代码时,要求运行daemon必须改变数据的所有权。 chown命令 正如Release Notes中所表述的,你必须把/var/lib/ceph/中所有数据的所有权改变为ceph:ce…
Read more

Ceph ansible已支持dmcrypt

本文由Ceph中国社区-LittleWindSXF 翻译、小猴子校稿。 英文出处:Ceph ansible now supports dmcrypt 欢迎加入CCTG   最近我研究了ceph-ansible刚刚发布的新特性:对dmcrypt的支持。这个dmcrypt方案主要就是支持布署加密的OSD数据目录。加密密钥保存在monitor的key/value存储系统上。这种配置方法是ceph-ansible最近才支持的,下面我们来看看它是怎么配置的。 在dmcrypt的安装启动过程中,我们支持两种子方案: dmcrypt_journal_collocation:OSD jou…
Read more

如何使用国内源部署Ceph?

由于网络方面的原因,Ceph的部署经常受到干扰,通常为了加速部署,基本上大家都是将Ceph的源同步到本地进行安装。根据Ceph中国社区的统计,当前已经有国内的网站定期将Ceph安装源同步,极大的方便了我们的测试。本文就是介绍如何使用国内源,加速ceph-deploy部署Ceph集群。 关于国内源 根据Ceph中国社区的统计,国内已经有四家网站开始同步Ceph源,分别是: 网易镜像源http://mirrors.163.com/ceph 阿里镜像源http://mirrors.aliyun.com/ceph 中科大镜像源http://mirrors.ustc.edu.cn/ceph 宝德镜像源&…
Read more

Ceph Cache tiering 介绍

本文由Ceph中国社区-mingfire翻译、luokexue校稿 英文出处:Ceph Cache tiering Introduction 欢迎加入CCTG Ceph是一个分布式和统一的存储平台。它在同一个系统中同时支持块、文件和对象存储。这些特点使得它对企业用户具有很大的吸引力。随着类似于SSD这样的快速、高价存储设备的出现,在企业存储市场中存储分层技术变得越来越重要。而Ceph也从Firefly0.80版本开始引入这一特性,即cache tiering. Cache tiering希望通过使用快速存储设备作为比它存储容量更大的存储池的缓存来提升整体的IO性能。它使用快…
Read more

Percona 开始尝试基于Ceph做上层感知的分布式MySQL集群

本文由 Ceph 中国社区 -QiYu 翻译、半天河校稿。 英文出处:Using Ceph with MySQL 欢迎加入CCTG 过去的一年,Ceph的世界吸引了我。部分是因为我对分布式系统的品味,但也是因为我认为Ceph描绘了对特定的MySQL和通用数据库的一个大机会。从本地存储到分布式存储的转变和从裸磁盘主机配置到LVM管理磁盘配置的转变相似。 我用Ceph做完的大部分工作是和Red Hat的伙伴 (主要是 Brent Compton and Kyle Bader)合作完成的。这些工作在4月份的Percona在线会议和六月末旧金山的Red hat峰会上引起了一些讨论。我可以写很…
Read more

Ceph-Lazy工具介绍

本文由Ceph中国社区-Leon 翻译、luokexue校稿。 英文出处:Introducing ceph-lazy 欢迎加入CCTG 这篇文章由Gregory Charot(该工具作者)共同完成。有没有发现你自己要敲好多管道符来得到一个Ceph CLI没有直接给出的特定值?或者是要努力移除上下文来得到一个特定值?这种情况通常会导致用又快又杂的sed/awk命令结尾(最好的场景),将其作为别名,或者被遗忘在shell历史纪录中,直到你下次需要用它。如今有了ceph-lazy,一个组合了这些需要多线程处理或文本操作的查询命令的shell工具。 从最基础的查询,如: 列出OSD节点 节点…
Read more