技术文档 – Ceph开源社区

Ceph日常运维操作技能图谱出炉（内含技能图谱）

Ceph China 小编 2017-12-14

Ceph中国社区一直在Ceph技术领域深耕，希望通过平台能够影响更多的小伙伴们，促进他们的技能提升。想必每一位小伙伴都渴求一份自己所关注领域的技能图谱作为参考，以便更高效完善的构建和提升自己的实力水平。「Ceph技能图谱」是由Ceph中国社区发起的一个开源项目，通过开源的方式持续更新，旨在梳理Ce…
Read more

原创, 技术文档

Ceph技能图谱项目启动（内含对象存储技能图谱）

Ceph China 小编 2017-11-22

Ceph中国社区一直在Ceph技术领域深耕，希望通过平台能够影响更多的小伙伴们，促进他们的技能提升。想必每一位小伙伴都渴求一份自己所关注领域的技能图谱作为参考，以便更高效完善的构建和提升自己的实力水平。「Ceph技能图谱」是由Ceph中国社区发起的一个开源项目，通过开源的方式持续更新，旨在梳理Ce…
Read more

原创, 技术文档

ARM分布式存储架构解决方案和x86架构的融合存储解决方案

Ceph China 小编 2017-10-10 0 Comments

本文背景众所周知，全球数据正以一种爆炸式的方式急速增长，高昂的设备扩容和快速上升的设备能源消耗导致数据中心的部署和运营成本直线上升。低成本、低功耗、高密度已成为计算和存储的共性需求，业界有越来越多的企业开始设计和部署 ARM 架构的服务器。有别于相对高成本的 ARM 服务器芯片(如 Qua…
Read more

技术文档, 行业资讯

使用gdbprof分析工具，进行Ceph性能调优

Ceph China 小编 2017-08-14 0 Comments

原文链接：https://my.oschina.net/u/3011935/blog/1486159 作者简介阿里巴巴存储专家，Ceph member，专注于分布式存储的性能调优。 1. gdbprof工具介绍 &…
Read more

技术文档

lifecycle功能测试 by_秦牧羊

Ceph China 小编 2017-03-24 0 Comments

功能描述: 1.目前从k版本开始支持lifecycle，且仅支持Expired，既过期对象删除。 2.AWS4认证下无法进行lifecycle的修改操作，HTTP层面会出现501错误。 3.boto和boto3可以支持AWS2认证下的get和put操作，测试功能可用 4.测试发现先对bucket进行…
Read more

原创, 技术文档

Ceph, rgw

compression功能测试 by_秦牧羊

Ceph China 小编 2017-03-24 0 Comments

启动compression 功能描述: 1.目前从k版本开始支持compression，目前支持zlib、snappy、zstd，注意从ceph version 12.0.0开始才加入了zstd插件。 2.注意配置的时候如果设置的插件不存在或者名称错误，则不启用压缩特性。 3.目前压缩特性只对dat…
Read more

原创, 技术文档

Ceph, rgw

Ceph RGW: J以上版本的用户placement设置 by_秦牧羊

Ceph China 小编 2017-03-24 0 Comments

功能描述通过设置用户的placement，对不同的bucket指定不同的pool，实现单个zone以pool为单位进行扩容，也可以利用这个特性实现bucket存储介质的差异化配置。配置流程新建一组pool存储index、data和extra数据 [crayon-5ad920c924806138…
Read more

原创, 技术文档

Ceph, rgw

从hammer到jewel的RGW升级实战 by_秦牧羊

Ceph China 小编 2017-03-24 0 Comments

初始状态 pool状态

root@demo:/home/demouser# rados lspools
rbd
.cn.rgw.root
.cn-zone1.rgw.root
.cn-zone1.rgw.domain
.cn-zone1.rgw.control
.cn-zone1.rgw.gc
.cn-zone1.rgw.buckets.index
.cn-zone1.rgw.buckets.extra
.cn-zone1.rgw.buckets
.cn-zone1.log
.cn-zone1.intent-log
.cn-zone1.usage
.cn-zone1.users
.cn-zone1.users.email
.cn-zone1.users.swift
.cn-zone1.users.uid

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

root@demo:/home/demouser# rados lspools

rbd

.cn.rgw.root

.cn-zone1.rgw.root

.cn-zone1.rgw.domain

.cn-zone1.rgw.control

.cn-zone1.rgw.gc

.cn-zone1.rgw.buckets.index

.cn-zone1.rgw.buckets.extra

.cn-zone1.rgw.buckets

.cn-zone1.log

.cn-zone1.intent-log

.cn-zone1.usage

.cn-zone1.users

.cn-zone1.users.email

.cn-zone1.users.swift

.cn-zone1.users.uid

ceph.conf配置

[client.radosgw.us-zone1]
     rgw dns name = s3.ceph.work
     rgw frontends = fastcgi
     host = ceph.work
     rgw region = cn
     rgw region root pool = .cn.rgw.root
     rgw zone = us-zone1
     rgw zone root pool = .cn-zone1.rgw.root
     keyring = /etc/ceph/ceph.client.radosgw.keyring
     rgw socket path = /home/ceph/var/run/ceph-client.radosgw.us-zone1.sock
     log file = /home/ceph/log/radosgw.us-zone1.log
     rgw print continue = false
    rgw content length compat = true

1

2

3

4

5

6

7

8

9

10

11

12

13

[client.radosgw.us-zone1]

rgw dns name = s3.ceph.work

rgw frontends = fastcgi

host = ceph.work

rgw region = cn

rgw region root pool = .cn.rgw.root

rgw zone = us-zone1

rgw zone root pool = .cn-zone1.rgw.root

keyring = /etc/ceph/ceph.client.radosgw.keyring

rgw socket path = /home/ceph/var/run/ceph-client.radosgw.us-zone1.sock

log file = /home/ceph/log/radosgw.us-zone1.log

rgw print continue = false

rgw content length compat = true

元数据信息检查

root@demo:/home/demouser# radosgw-admin metadata list user --name client.radosgw.us-zone1
[
    "en-user1",
    "us-zone1",
    "us-user1",
    "cn-user1",
    "en-zone1",
    "cn-zone1",
    "cn-user2"

]
root@demo:/home/demouser# radosgw-admin metadata list bucket --name client.radosgw.us-zone1
[
    "cn-test1",
    "us-test1",
    "en-test1",
    "cn-test2"

]

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

root@demo:/home/demouser# radosgw-admin metadata list user --name client.radosgw.us-zone1

[

"en-user1",

"us-zone1",

"us-user1",

"cn-user1",

"en-zone1",

"cn-zone1",

"cn-user2"

]

root@demo:/home/demouser# radosgw-admin metadata list bucket --name client.radosgw.us-zone1

[

"cn-test1",

"us-test1",

"en-test1",

"cn-test2"

]

软件版本及集群状态 [crayon-5…
Read more

原创, 技术文档

Ceph, rgw

一个因boto支持aws4引发的悲剧故事 by_秦牧羊

Ceph China 小编 2017-03-24 0 Comments

环境介绍软件版本

root@demo:/home/demouser# ceph -v
ceph version 10.2.6 (656b5b63ed7c43bd014bcafd81b001959d5f089f)
boto版本:2.46.1

1

2

3

root@demo:/home/demouser# ceph -v

ceph version 10.2.6 (656b5b63ed7c43bd014bcafd81b001959d5f089f)

boto版本:2.46.1

rgw配置

[client.radosgw.cn-zone1]
     rgw dns name = ceph.work
     rgw frontends = fastcgi socket_port=9000 socket_host=127.0.0.1
     host = demo
     keyring = /etc/ceph/ceph.client.radosgw.keyring
     rgw socket path = /home/ceph/var/run/ceph-client.radosgw.cn-zone1.sock
     log file = /home/ceph/log/radosgw.cn-zone1.log
     rgw print continue = false
     rgw content length compat = true

1

2

3

4

5

6

7

8

9

[client.radosgw.cn-zone1]

rgw dns name = ceph.work

rgw frontends = fastcgi socket_port=9000 socket_host=127.0.0.1

host = demo

keyring = /etc/ceph/ceph.client.radosgw.keyring

rgw socket path = /home/ceph/var/run/ceph-client.radosgw.cn-zone1.sock

log file = /home/ceph/log/radosgw.cn-zone1.log

rgw print continue = false

rgw content length compat = true

boto对region支持的一些坑 boto用例

from boto.s3.connection import S3Connection
import boto
import os
os.environ['S3_USE_SIGV4'] = 'True' #启动对aws4的支持

endpoint = 'ceph.work'
bucket_name = 'test1'
access_key = ''
secret_key = ''

conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=endpoint,
    is_secure=False,
    calling_format=boto.s3.connection.SubdomainCallingFormat(),
    validate_certs=True,
)

bucket = conn.get_all_buckets()
print bucket

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

from boto.s3.connection import S3Connection

import boto

import os

os.environ['S3_USE_SIGV4'] = 'True' #启动对aws4的支持

endpoint = 'ceph.work'

bucket_name = 'test1'

access_key = ''

secret_key = ''

conn = boto.connect_s3(

aws_access_key_id=access_key,

aws_secret_access_key=secret_key,

host=endpoint,

is_secure=False,

calling_format=boto.s3.connection.SubdomainCallingFormat(),

validate_certs=True,

)

bucket = conn.get_all_buckets()

print bucket

异常信息 [cray…
Read more

原创, 技术文档

Ceph, rgw

测试 Kraken 版 BlueStore

Ceph China 小编 2017-03-02 0 Comments

本文由Ceph中国社区-徐小胖翻译、Ceph中国社区-luokexue校稿英文出处：Testing Ceph BlueStore with the Kraken release 欢迎加入CCTG Ceph Kraken(11.2.0) 版本已经发布，版本说明告诉我们新的 OSD 后端 B…
Read more

技术文档, 翻译