ceph集群RadosGW對(duì)象存儲(chǔ)使用詳解
更新時(shí)間：2022年04月02日 11:07:18 作者：vfanCloud
這篇文章主要為大家介紹了ceph集群RadosGW對(duì)象存儲(chǔ)使用詳解，有需要的，朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪
一個(gè)完整的ceph集群，可以提供塊存儲(chǔ)、文件系統(tǒng)和對(duì)象存儲(chǔ)。
本節(jié)主要介紹對(duì)象存儲(chǔ)RadosGw功能如何靈活的使用
集群背景：
$ ceph -s
cluster:
id: f0a8789e-6d53-44fa-b76d-efa79bbebbcf
health: HEALTH_OK
services:
mon: 1 daemons, quorum a (age 2d)
mgr: a(active, since 2d)
mds: cephfs:1 {0=cephfs-a=up:active} 1 up:standby-replay
osd: 1 osds: 1 up (since 2d), 1 in (since 2d)
rgw: 1 daemon active (my.store.a)
data:
pools: 10 pools, 200 pgs
objects: 1.29k objects, 3.5 GiB
usage: 60 GiB used, 798 GiB / 858 GiB avail
pgs: 200 active+clean
io:
client: 852 B/s rd, 1 op/s rd, 0 op/s wr
什么是對(duì)象存儲(chǔ)
- 對(duì)象存儲(chǔ)，又稱鍵值存儲(chǔ)，通過(guò)其接口指令，例如簡(jiǎn)單的GET、PUT、DEL等，向存儲(chǔ)服務(wù)上傳下載數(shù)據(jù)；
- 對(duì)象存儲(chǔ)中所有數(shù)據(jù)都被認(rèn)為是一個(gè)對(duì)象。所以，任何數(shù)據(jù)都可以存入對(duì)象存儲(chǔ)中，如圖片、視頻、音頻等；
- 常見(jiàn)的對(duì)象存儲(chǔ)廠商有Swift、S3等，ceph就支持Swift API和AWS S3兩種標(biāo)準(zhǔn)。
ceph對(duì)象存儲(chǔ)的構(gòu)成
Ceph對(duì)象存儲(chǔ)是通過(guò) RGW組件 來(lái)實(shí)現(xiàn)，什么是 rgw 呢？
- rgw全稱Rados Gateway，是一種服務(wù)，使客戶端能夠利用標(biāo)準(zhǔn)對(duì)象存儲(chǔ)API來(lái)訪問(wèn)ceph對(duì)象網(wǎng)關(guān)；
- ceph 0.8版本之后使用Civeweb的web服務(wù)器來(lái)響應(yīng)api請(qǐng)求，說(shuō)白了，rgw里邊就是一個(gè)web服務(wù)；
- 客戶端使用http/https協(xié)議通過(guò)RESTful API與rgw通信；
- rgw通過(guò)librados與ceph集群通信，利用cephx加密協(xié)議與ceph存儲(chǔ)通信；
- rgw通過(guò)bucket來(lái)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和多用戶的隔離；
- 可以部署多個(gè)rgw，實(shí)現(xiàn)負(fù)載均衡及高可用。
ceph RadosGW中有一個(gè)bucket桶的概念，一般項(xiàng)目或者分類會(huì)使用bucket來(lái)進(jìn)行隔離，bucket的權(quán)限控制，想要操作某個(gè)bucket，操作用戶必須有對(duì)此bucket的對(duì)應(yīng)操作權(quán)限，bucket最終的數(shù)據(jù)其實(shí)還是通過(guò)PG來(lái)落盤到后端的osd存儲(chǔ)中的。
RadosGW存儲(chǔ)池作用
rgw安裝流程請(qǐng)參考之前的部署文檔，此處不在贅述，默認(rèn)端口7480，能夠curl通就表示安裝成功：
$ curl 10.153.204.13:30080 <?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/"><Owner><ID>anonymous</ID><DisplayName></DisplayName></Owner><Buckets></Buckets></ListAllMyBucketsResult>
我這里更改了默認(rèn)端口，改為了30080
rgw安裝完畢后，會(huì)有一些默認(rèn)創(chuàng)建的存儲(chǔ)池：
$ ceph osd lspools | grep rgw .rgw.root my-store.rgw.control my-store.rgw.meta my-store.rgw.log my-store.rgw.buckets.index my-store.rgw.buckets.non-ec my-store.rgw.buckets.data
這些存儲(chǔ)池也是分為兩種類型的，一種是元數(shù)據(jù)存儲(chǔ)池，一種是數(shù)據(jù)存儲(chǔ)池：
.rgw.root : 包含realm（領(lǐng)域信息），比如zone和zonegroup。
rgw.log：存儲(chǔ)日志信息，用戶記錄各種log信息。
rgw.control：系統(tǒng)控制池，在有數(shù)據(jù)更新時(shí)，通知其它RGW更新緩存。
rgw.meta：元數(shù)據(jù)存儲(chǔ)池，通過(guò)不同的名稱空間分別存儲(chǔ)不同的rados對(duì)象，這些名稱空間包括用戶的UID，及其Bucket映射信息的名稱空間users.uid，用戶的密鑰名稱空間users.keys，用戶的emai名稱空間users.email，用戶的subuser的名稱空間 users.swift，bucket的名稱空間root等。
rgw.buckets.index：存放bucket到object的索引信息。
rgw.buckets.non-ec：數(shù)據(jù)的額外信息存儲(chǔ)池。
rgw.buckets.data：存放對(duì)象的數(shù)據(jù)
RadosGW常用操作詳解
查看全部zone
$ radosgw-admin zone list
{
"default_info": "a06a6df5-68a4-47f0-9afa-2ac1c09aee58",
"zones": [
"my-store"
]
}
默認(rèn)為default，我這里更改名字叫my-store
查看zone詳情
$ radosgw-admin zone get --rgw-zone=my-store
{
"id": "a06a6df5-68a4-47f0-9afa-2ac1c09aee58",
"name": "my-store",
"domain_root": "my-store.rgw.meta:root",
"control_pool": "my-store.rgw.control",
"gc_pool": "my-store.rgw.log:gc",
"lc_pool": "my-store.rgw.log:lc",
"log_pool": "my-store.rgw.log",
"intent_log_pool": "my-store.rgw.log:intent",
"usage_log_pool": "my-store.rgw.log:usage",
"roles_pool": "my-store.rgw.meta:roles",
"reshard_pool": "my-store.rgw.log:reshard",
"user_keys_pool": "my-store.rgw.meta:users.keys",
"user_email_pool": "my-store.rgw.meta:users.email",
"user_swift_pool": "my-store.rgw.meta:users.swift",
"user_uid_pool": "my-store.rgw.meta:users.uid",
"otp_pool": "my-store.rgw.otp",
"system_key": {
"access_key": "",
"secret_key": ""
},
"placement_pools": [
{
"key": "default-placement",
"val": {
"index_pool": "my-store.rgw.buckets.index",
"storage_classes": {
"STANDARD": {
"data_pool": "my-store.rgw.buckets.data"
}
},
"data_extra_pool": "my-store.rgw.buckets.non-ec",
"index_type": 0
}
}
],
"realm_id": ""
}
radosgw創(chuàng)建新用戶認(rèn)證
$ radosgw-admin user create --uid="vfan" --display-name="my vfan"{
"user_id": "vfan",
"display_name": "my vfan",
"email": "",
"suspended": 0,
"max_buckets": 1000,
"subusers": [],
"keys": [
{
"user": "vfan",
"access_key": "Q6VGP3LYMH99D0A9GUV0",
"secret_key": "NVDfq7CBJgpUnCXKqbgVuKvI3siWNbx0sRltClA4"
}
],
"swift_keys": [],
"caps": [],
"op_mask": "read, write, delete",
"default_placement": "",
"default_storage_class": "",
"placement_tags": [],
"bucket_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
},
"user_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
},
"temp_url_keys": [],
"type": "rgw",
"mfa_ids": []
}
新建一個(gè)子用戶
為了給用戶新建一個(gè)子用戶 (Swift 接口) ，必須為該子用戶指定用戶的 ID(--uid={username})，子用戶的 ID 以及訪問(wèn)級(jí)別：
$ radosgw-admin subuser create --uid=vfan --subuser=vfan:swift --access=full
{
"user_id": "vfan",
"display_name": "my vfan",
"email": "",
"suspended": 0,
"max_buckets": 1000,
"subusers": [
{
"id": "vfan:swift",
"permissions": "full-control"
}
],
"keys": [
{
"user": "vfan",
"access_key": "Q6VGP3LYMH99D0A9GUV0",
"secret_key": "NVDfq7CBJgpUnCXKqbgVuKvI3siWNbx0sRltClA4"
}
],
"swift_keys": [
{
"user": "vfan:swift",
"secret_key": "GrjjD8yJgr2khUCIeRmggNMWqnganFlhMKMMom9s"
}
],
"caps": [],
"op_mask": "read, write, delete",
}
--access=full并不僅僅代表讀寫，因?yàn)樗€包括訪問(wèn)權(quán)限策略。
查看user列表
$ radosgw-admin user list
[
"vfan",
"ceph-object-user"
]
禁用或啟動(dòng)一個(gè)用戶
創(chuàng)建賬戶后，默認(rèn)是啟用狀態(tài)，可以將其設(shè)置為關(guān)閉狀態(tài)：
## 停用一個(gè)用戶 $ radosgw-admin user suspend --uid=vfan ## 啟用一個(gè)用戶 $ radosgw-admin user enable --uid=vfan
主要是用戶中的"suspended"值發(fā)生了變化，開(kāi)啟為0，關(guān)閉為1。
添加或刪除 用戶管理權(quán)限
## 添加 $ radosgw-admin caps add --uid=vfan --caps="users=*" ## 刪除 $ radosgw-admin caps rm --uid=vfan --caps="users=write"
--caps="[users|buckets|metadata|usage|zone]=[*|read|write|read, write]"
刪除用戶 或 子用戶
## 刪除用戶 $ radosgw-admin user rm --uid=vfan ## 刪除子用戶 $ radosgw-admin subuser rm --subuser=vfan:swift
查看所有的bucket桶
$ radosgw-admin bucket list
[
"my-test-bucket"
]
查看桶內(nèi)對(duì)象
$ radosgw-admin bucket list --bucket=my-test-bucket
[
{
"name": "hello.txt",
"instance": "",
"ver": {
"pool": 10,
"epoch": 1
},
"locator": "",
"exists": "true",
"meta": {
"category": 1,
"size": 12,
"mtime": "2022-03-30T10:51:38.420295Z",
"etag": "ed076287532e86365e841e92bfc50d8c",
"storage_class": "",
"owner": "vfan",
"owner_display_name": "my vfan",
"content_type": "application/octet-stream",
"accounted_size": 12,
"user_data": "",
"appendable": "false"
},
"tag": "a06a6df5-68a4-47f0-9afa-2ac1c09aee58.24132.17942",
"flags": 0,
"pending_map": [],
"versioned_epoch": 0
}
]
查看存儲(chǔ)桶詳情
$ radosgw-admin bucket stats --bucket=my-test-bucket
{
"bucket": "my-test-bucket",
"num_shards": 0,
"tenant": "",
"zonegroup": "fd710024-4ba3-41bb-9f96-579d8f03dd1b",
"placement_rule": "default-placement",
"explicit_placement": {
"data_pool": "",
"data_extra_pool": "",
"index_pool": ""
},
"id": "a06a6df5-68a4-47f0-9afa-2ac1c09aee58.24134.1",
"marker": "a06a6df5-68a4-47f0-9afa-2ac1c09aee58.24134.1",
"index_type": "Normal",
"owner": "vfan",
"ver": "0#2",
"master_ver": "0#0",
"mtime": "2022-03-30T10:51:38.323147Z",
"creation_time": "2022-03-30T10:51:38.321498Z",
"max_marker": "0#",
"usage": {
"rgw.main": {
"size": 12,
"size_actual": 4096,
"size_utilized": 12,
"size_kb": 1,
"size_kb_actual": 4,
"size_kb_utilized": 1,
"num_objects": 1
}
},
"bucket_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
}
}
查看用戶配額
$ radosgw-admin user info --uid=vfan | grep -A 5 "quota"
"bucket_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
--
"user_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
默認(rèn)這些配額都是未激活的，處于false狀態(tài)。
激活用戶配額
$ radosgw-admin quota enable --quota-scope=user --uid=vfan
$ radosgw-admin user info --uid=vfan | grep -A 5 "quota"
"bucket_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
--
"user_quota": {
"enabled": true,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
已激活用戶配額，此時(shí)可以修改最大限額，默認(rèn)是不限制。
更新配額
$ radosgw-admin quota set --uid=vfan --quota-scope=user --max-objects=10000 --max-size=107374182400
[cephadmin@yq01-aip-aikefu10.yq01.baidu.com ~]$ radosgw-admin user info --uid=vfan | grep -A 5 "quota"
"bucket_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
--
"user_quota": {
"enabled": true,
"check_on_raw": false,
"max_size": 107374182400,
"max_size_kb": 104857600,
"max_objects": 10000
max_size單位是bytes，max_size_kb單位是kb。
操縱radosgw
一般對(duì)象存儲(chǔ)都由開(kāi)發(fā)在代碼層面控制，幾乎不需要我們運(yùn)維人員操作什么，只需要把用戶權(quán)限和集群維護(hù)好就沒(méi)啥問(wèn)題了，接下來(lái)用一段python代碼來(lái)演示其bucket以及增刪文件的操作。也有一些命令可以實(shí)現(xiàn)，例如s3cmd等。
需要先安裝好python3環(huán)境，以及python的boto模塊
# pip3 install boto-2.41.0-py2.py3-none-any.whl
如果沒(méi)有pip源，離線下載地址：https://pypi.org/simple/boto/
python腳本編寫
這里測(cè)試使用上邊演示新創(chuàng)建的用戶vfan
vi ceph-s3.py
import boto.s3.connection
access_key = 'Q6VGP3LYMH99D0A9GUV0' #創(chuàng)建S3用戶時(shí)返回的AK
secret_key = 'NVDfq7CBJgpUnCXKqbgVuKvI3siWNbx0sRltClA4' #S3用戶的SK
host = '10.153.204.13' # RWG節(jié)點(diǎn)IP和端口
port = 30080
# 新建一個(gè)連接
conn = boto.connect_s3(
aws_access_key_id=access_key,
aws_secret_access_key=secret_key,
host=host, port=port,
is_secure=False, calling_format=boto.s3.connection.OrdinaryCallingFormat(),
)
# 新建一個(gè)Bucket
bucket = conn.create_bucket('my-vfan-bucket')
# 列出用戶的所有Bucket
for bucket in conn.get_all_buckets():
print("桶名稱: %s, 創(chuàng)建時(shí)間: %s" %(bucket.name,bucket.creation_date))
# 列出Bucket內(nèi)容
for key in bucket.list():
print("key名稱: %s, 文件大小: %s, 修改時(shí)間: %s" %(key.name,key.size,key.last_modified))
# 新建一個(gè)對(duì)象
key = bucket.new_key('hi.txt')
key.set_contents_from_string('Hello World!')
# 下載一個(gè)對(duì)象到文件
key = bucket.get_key('hi.txt')
key.get_contents_to_filename('/tmp/hi.txt')
執(zhí)行py腳本
# python3 ceph-s3.py 桶名稱: my-test-bucket, 創(chuàng)建時(shí)間: 2022-03-30T10:51:38.321Z 桶名稱: my-vfan-bucket, 創(chuàng)建時(shí)間: 2022-04-01T07:32:54.671Z # cat /tmp/hi.txt Hello World!
已經(jīng)新創(chuàng)建了一個(gè)名為my-vfan-bucket的bucket，并新建了一個(gè)對(duì)象hi.txt，并下載到了本地的/tmp目錄下。
可以優(yōu)化一下腳本，使其可以單項(xiàng)操作
#!/usr/bin/python
# -*- coding: utf-8 -*-
"""
@Time : 2021-12-22 19:14
@Author : xxxxxx
@Email : xxxxxx
@File : bucket.py
@Software: PyCharm
"""
import boto
import boto.s3.connection
class Bucket():
"""
ceph中bucket相關(guān)的類
boto s3 api手冊(cè)：http://boto.readthedocs.org/en/latest/ref/s3.html
boto s3 api用法：https://docs.ceph.com/en/latest/radosgw/s3/python/#
"""
def __init__(self, ak, sk, host, port):
self.ak = ak
self.sk = sk
self.host = host
self.port = port
self.conn = boto.connect_s3(aws_access_key_id=self.ak, aws_secret_access_key=self.sk, host=self.host,
port=self.port, is_secure=False,
calling_format=boto.s3.connection.OrdinaryCallingFormat())
print self.conn
def bucketList(self):
"""
獲取所有的bucketList
:return:
"""
for bucket in self.conn.get_all_buckets():
print("{name}\t{created}".format(name=bucket.name, created=bucket.creation_date))
def bucketCreate(self, bucketName):
"""
創(chuàng)建bucket
:return:
"""
createRes = self.conn.create_bucket(bucketName)
print createRes
def bucketDelete(self):
"""
刪除bucket
:return:
"""
pass
if __name__ == "__main__":
"""
主函數(shù)
"""
access_key = "FHPC3HED7P7J8ADFQVOD"
secret_key = "Zgf01sjynnAbNS6yCO99VFphDQ6sOlmPBRRd7P2E"
host = "xxxxx"
port = 8000
bucketName = 'share'
bucket = Bucket(access_key, secret_key, host, port)
# 創(chuàng)建bucket
bucket.bucketCreate(bucketName)
# 查看bucket列表
# bucket.bucketList()
可以再基于此腳本優(yōu)化，增加其他功能。
RadosGW相關(guān)操作至此已演示介紹完畢，后續(xù)會(huì)陸續(xù)介紹一些自定義crush規(guī)則、pg及一些常用的參數(shù)配置。
以上就是ceph集群RadosGW對(duì)象存儲(chǔ)使用詳解的詳細(xì)內(nèi)容，更多關(guān)于ceph RadosGW對(duì)象存儲(chǔ)使用的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
centos搭建code-server配置HTTPS登錄頁(yè)自定義實(shí)現(xiàn)步驟
這篇文章主要為大家介紹了centos搭建code-server及配置HTTPS、登錄頁(yè)自定義實(shí)現(xiàn)步驟詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-05-05
這篇文章主要為大家介紹了混淆矩陣Confusion?Matrix分析的翻譯，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
Typora配置PicGo時(shí)提示Failed?to?fetch的問(wèn)題解決(typora圖像問(wèn)題)
這篇文章主要介紹了Typora配置PicGo時(shí)提示Failed?to?fetch的問(wèn)題解決(typora圖像問(wèn)題),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-04-04
本文主要介紹了一文講清base64編碼原理，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
VSCode遠(yuǎn)程連接其他主機(jī)的WSL2的問(wèn)題
這篇文章主要介紹了VSCode遠(yuǎn)程連接其他主機(jī)的WSL2的問(wèn)題，在 Windows 10 上開(kāi)啟 SSH Server 服務(wù),設(shè)置 SSH 連接使用的默認(rèn) Shell，本文給大家介紹的非常詳細(xì)，需要的朋友參考下吧2021-07-07
圖床就是一個(gè)在網(wǎng)絡(luò)上存儲(chǔ)圖片的地方，目的是為了節(jié)省本地服務(wù)器空間，加快圖片打開(kāi)速度。今天就推薦幾款超簡(jiǎn)單的圖床工具，感興趣的朋友一起看看吧2019-11-11![Atlassian系列產(chǎn)品及插件激活方法[JIRA8.19.0+]](http://img.jbzj.com/images/xgimg/bcimg6.png)
Atlassian系列產(chǎn)品及插件激活方法[JIRA8.19.0+]
Atlassian家有很多產(chǎn)品，都真的非常好用。比如公司使用JIRA做項(xiàng)目管理，使用Confluence做文檔、知識(shí)管理等（我個(gè)人用它來(lái)做筆記）。本文給大家分享Atlassian系列產(chǎn)品及插件激活方法[JIRA8.19.0+]，感興趣的朋友參考下吧2021-12-12
科學(xué)知識(shí)：時(shí)間復(fù)雜度計(jì)算方法
這篇文章主要介紹了科學(xué)知識(shí)：時(shí)間復(fù)雜度計(jì)算方法,本文介紹了問(wèn)題的定義、時(shí)間復(fù)雜度計(jì)算步驟、時(shí)間復(fù)雜度計(jì)算規(guī)則等內(nèi)容,需要的朋友可以參考下2015-05-05
Selenium實(shí)現(xiàn)微博自動(dòng)化運(yùn)營(yíng)之關(guān)注、點(diǎn)贊、評(píng)論功能
這篇文章主要介紹了Selenium實(shí)現(xiàn)微博自動(dòng)化運(yùn)營(yíng)：關(guān)注、點(diǎn)贊、評(píng)論,本文通過(guò)實(shí)例代碼圖文并茂的形式給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
ceph集群RadosGW對(duì)象存儲(chǔ)使用詳解
這篇文章主要為大家介紹了ceph集群RadosGW對(duì)象存儲(chǔ)使用詳解，有需要的，朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-04-04