admin 发表于 2022-4-7 09:32:13

ceph存储对osd tree相关的root 和bucket 操作记录过程

# ceph osd tree
IDCLASS WEIGHTTYPE NAME                        STATUS REWEIGHT PRI-AFF
-7       2.00000 root hdd-bigdata                                       
-14       1.00000   host hdd-bigdata-compute01                           
12   hdd 1.00000         osd.12                     up1.00000 1.00000
-15       1.00000   host hdd-bigdata-compute02                           
13   hdd 1.00000         osd.13                     up1.00000 1.00000
-16             0   host hdd-bigdata-compute03                           
-6       3.00000 root hdd-smalldata                                       
-17       1.00000   host hdd-smalldata-compute01                        
9   hdd 1.00000         osd.9                        up1.00000 1.00000
-18       1.00000   host hdd-smalldata-compute02                        
10   hdd 1.00000         osd.10                     up1.00000 1.00000
-19       1.00000   host hdd-smalldata-compute03                        
11   hdd 1.00000         osd.11                     up1.00000 1.00000
-5       3.00000 root ssd-smalldata                                       
-11       1.00000   host ssd-smalldata-compute01                        
6   ssd 1.00000         osd.6                        up1.00000 1.00000
-12       1.00000   host ssd-smalldata-compute02                        
7   ssd 1.00000         osd.7                        up1.00000 1.00000
-13       1.00000   host ssd-smalldata-compute03                        
8   ssd 1.00000         osd.8                        up1.00000 1.00000
-4       6.00000 root ssd-bigdata                                       
-8       2.00000   host ssd-bigdata-compute01                           
0   ssd 1.00000         osd.0                        up1.00000 1.00000
1   ssd 1.00000         osd.1                        up1.00000 1.00000
-9       2.00000   host ssd-bigdata-compute02                           
2   ssd 1.00000         osd.2                        up1.00000 1.00000
3   ssd 1.00000         osd.3                        up1.00000 1.00000
-10       2.00000   host ssd-bigdata-compute03                           
4   ssd 1.00000         osd.4                        up1.00000 1.00000
5   ssd 1.00000         osd.5                        up1.00000 1.00000
-1             0 root default                                             



# ceph osdcrush rename-bucket ssd-bigdata ssd
renamed bucket ssd-bigdata into ssd
# ceph -s
cluster:
    id:   2af51d38-db90-4a57-a43d-ea9f6ebd7482
    health: HEALTH_OK

services:
    mon: 3 daemons, quorum compute01,compute02,compute03 (age 17h)
    mgr: compute01(active, since 17h), standbys: compute02, compute03
    osd: 14 osds: 14 up (since 16h), 14 in (since 16h)

data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   14 GiB used, 13 TiB / 13 TiB avail
    pgs:   

# ceph osd tree
IDCLASS WEIGHTTYPE NAME                        STATUS REWEIGHT PRI-AFF
-7       2.00000 root hdd-bigdata                                       
-14       1.00000   host hdd-bigdata-compute01                           
12   hdd 1.00000         osd.12                     up1.00000 1.00000
-15       1.00000   host hdd-bigdata-compute02                           
13   hdd 1.00000         osd.13                     up1.00000 1.00000
-16             0   host hdd-bigdata-compute03                           
-6       3.00000 root hdd-smalldata                                       
-17       1.00000   host hdd-smalldata-compute01                        
9   hdd 1.00000         osd.9                        up1.00000 1.00000
-18       1.00000   host hdd-smalldata-compute02                        
10   hdd 1.00000         osd.10                     up1.00000 1.00000
-19       1.00000   host hdd-smalldata-compute03                        
11   hdd 1.00000         osd.11                     up1.00000 1.00000
-5       3.00000 root ssd-smalldata                                       
-11       1.00000   host ssd-smalldata-compute01                        
6   ssd 1.00000         osd.6                        up1.00000 1.00000
-12       1.00000   host ssd-smalldata-compute02                        
7   ssd 1.00000         osd.7                        up1.00000 1.00000
-13       1.00000   host ssd-smalldata-compute03                        
8   ssd 1.00000         osd.8                        up1.00000 1.00000
-4       6.00000 root ssd                                                
-8       2.00000   host ssd-bigdata-compute01                           
0   ssd 1.00000         osd.0                        up1.00000 1.00000
1   ssd 1.00000         osd.1                        up1.00000 1.00000
-9       2.00000   host ssd-bigdata-compute02                           
2   ssd 1.00000         osd.2                        up1.00000 1.00000
3   ssd 1.00000         osd.3                        up1.00000 1.00000
-10       2.00000   host ssd-bigdata-compute03                           
4   ssd 1.00000         osd.4                        up1.00000 1.00000
5   ssd 1.00000         osd.5                        up1.00000 1.00000
-1             0 root default                                             



# ceph osd crush --help
General usage:
==============
usage: ceph [-h] [-c CEPHCONF] [-i INPUT_FILE] [-o OUTPUT_FILE]
            [--setuser SETUSER] [--setgroup SETGROUP] [--id CLIENT_ID]
            [--name CLIENT_NAME] [--cluster CLUSTER]
            [--admin-daemon ADMIN_SOCKET] [-s] [-w] [--watch-debug]
            [--watch-info] [--watch-sec] [--watch-warn] [--watch-error]
            [--watch-channel {cluster,audit,*}] [--version] [--verbose]
            [--concise] [-f {json,json-pretty,xml,xml-pretty,plain}]
            [--connect-timeout CLUSTER_TIMEOUT] [--block] [--period PERIOD]
Ceph administration tool
optional arguments:
-h, --help            request mon help
-c CEPHCONF, --conf CEPHCONF
                        ceph configuration file
-i INPUT_FILE, --in-file INPUT_FILE
                        input file, or "-" for stdin
-o OUTPUT_FILE, --out-file OUTPUT_FILE
                        output file, or "-" for stdout
--setuser SETUSER   set user file permission
--setgroup SETGROUP   set group file permission
--id CLIENT_ID, --user CLIENT_ID
                        client id for authentication
--name CLIENT_NAME, -n CLIENT_NAME
                        client name for authentication
--cluster CLUSTER   cluster name
--admin-daemon ADMIN_SOCKET
                        submit admin-socket commands ("help" for help
-s, --status          show cluster status
-w, --watch         watch live cluster changes
--watch-debug         watch debug events
--watch-info          watch info events
--watch-sec         watch security events
--watch-warn          watch warn events
--watch-error         watch error events
--watch-channel {cluster,audit,*}
                        which log channel to follow when using -w/--watch. One
                        of ['cluster', 'audit', '*']
--version, -v         display version
--verbose             make verbose
--concise             make less verbose
-f {json,json-pretty,xml,xml-pretty,plain}, --format {json,json-pretty,xml,xml-pretty,plain}
--connect-timeout CLUSTER_TIMEOUT
                        set a timeout for connecting to the cluster
--block               block until completion (scrub and deep-scrub only)
--period PERIOD, -p PERIOD
                        polling period, default 1.0 second (for polling
                        commands only)
Local commands:
===============
ping <mon.id>         Send simple presence/life test to a mon
                        <mon.id> may be 'mon.*' for all mons
daemon {type.id|path} <cmd>
                        Same as --admin-daemon, but auto-find admin socket
daemonperf {type.id | path} [<interval>] [<count>]
daemonperf {type.id | path} list|ls
                        Get selected perf stats from daemon/admin socket
                        Optional shell-glob comma-delim match string stat-pats
                        Optional selection priority (can abbreviate name):
                         critical, interesting, useful, noninteresting, debug
                        List shows a table of all available stats
                        Run <count> times (default forever),
                         once per <interval> seconds (default 1)
   
Monitor commands:
=================
osd crush add <osdname (id|osd.id)> <float> <args> [<args>...]            add or update crus
                                                                                 <args>
osd crush add-bucket <name> <type> {<args> [<args>...]}                           add no-parent (pro
                                                                                 <args>
osd crush class create <class>                                                    create crush devic
osd crush class ls                                                                list all crush dev
osd crush class ls-osd <class>                                                    list all osds belo
osd crush class rename <srcname> <dstname>                                        rename crush devic
osd crush class rm <class>                                                      remove crush devic
osd crush create-or-move <osdname (id|osd.id)> <float> <args> [<args>...]   create entry or mo
osd crush dump                                                                  dump crush map
osd crush get-device-class <ids> [<ids>...]                                       get classes of spe
osd crush get-tunable straw_calc_version                                          get crush tunable
osd crush link <name> <args> [<args>...]                                          link existing entr
osd crush ls <node>                                                               list items beneath
osd crush move <name> <args> [<args>...]                                          move existing entr
osd crush rename-bucket <srcname> <dstname>                                       rename bucket <src
osd crush reweight <name> <float>                                           change <name>'s we
osd crush reweight-all                                                            recalculate the we
osd crush reweight-subtree <name> <float>                                 change all leaf it
osd crush rm <name> {<ancestor>}                                                remove <name> from
osd crush rm-device-class <ids> [<ids>...]                                        remove class of th
osd crush rule create-erasure <name> {<profile>}                                  create crush rule
                                                                                 default)
osd crush rule create-replicated <name> <root> <type> {<class>}                   create crush rule
                                                                                 across buckets of
osd crush rule create-simple <name> <root> <type> {firstn|indep}                  create crush rule
                                                                                 <type>, using a c
                                                                                 erasure pools)
osd crush rule dump {<name>}                                                      dump crush rule <n
osd crush rule ls                                                               list crush rules
osd crush rule ls-by-class <class>                                                list all crush rul
osd crush rule rename <srcname> <dstname>                                       rename crush rule
osd crush rule rm <name>                                                          remove crush rule
osd crush set <osdname (id|osd.id)> <float> <args> [<args>...]            update crushmap po
osd crush set {<int>}                                                             set crush map from
osd crush set-all-straw-buckets-to-straw2                                       convert all CRUSH
osd crush set-device-class <class> <ids> [<ids>...]                               set the <class> of
osd crush set-tunable straw_calc_version <int>                                    set crush tunable
osd crush show-tunables                                                         show current crush
osd crush swap-bucket <source> <dest> {--yes-i-really-mean-it}                  swap existing buck
osd crush tree {--show-shadow}                                                    dump crush buckets
osd crush tunables legacy|argonaut|bobtail|firefly|hammer|jewel|optimal|default   set crush tunables
osd crush unlink <name> {<ancestor>}                                              unlink <name> from
osd crush weight-set create <poolname> flat|positional                            create a weight-se
osd crush weight-set create-compat                                                create a default b
osd crush weight-set dump                                                         dump crush weight
osd crush weight-set ls                                                         list crush weight
osd crush weight-set reweight <poolname> <item> <float> [<float>...]set weight for an
osd crush weight-set reweight-compat <item> <float> [<float>...]      set weight for an
osd crush weight-set rm <poolname>                                                remove the weight-
osd crush weight-set rm-compat                                                    remove the backwar
# ceph osd crush class
createls      ls-osdrenamerm      
# ceph osd crush class
createls      ls-osdrenamerm      
# ceph osd crush class ls
[
    "ssd",
    "hdd"
]

# ceph osd crush rename-bucket
                                       #rename bucket <srcname> to <dstname>

# ceph osd crush rename-bucket ssd-bigdata-compute01 ssd-compute01
renamed bucket ssd-bigdata-compute01 into ssd-compute01
# ceph osd crush rename-bucket ssd-bigdata-compute02 ssd-compute02
renamed bucket ssd-bigdata-compute02 into ssd-compute02
# ceph osd crush rename-bucket ssd-bigdata-compute03 ssd-compute03
renamed bucket ssd-bigdata-compute03 into ssd-compute03

# ceph osd tree
IDCLASS WEIGHTTYPE NAME                        STATUS REWEIGHT PRI-AFF
-7       2.00000 root hdd-bigdata                                       
-14       1.00000   host hdd-bigdata-compute01                           
12   hdd 1.00000         osd.12                     up1.00000 1.00000
-15       1.00000   host hdd-bigdata-compute02                           
13   hdd 1.00000         osd.13                     up1.00000 1.00000
-16             0   host hdd-bigdata-compute03                           
-6       3.00000 root hdd-smalldata                                       
-17       1.00000   host hdd-smalldata-compute01                        
9   hdd 1.00000         osd.9                        up1.00000 1.00000
-18       1.00000   host hdd-smalldata-compute02                        
10   hdd 1.00000         osd.10                     up1.00000 1.00000
-19       1.00000   host hdd-smalldata-compute03                        
11   hdd 1.00000         osd.11                     up1.00000 1.00000
-5       3.00000 root ssd-smalldata                                       
-11       1.00000   host ssd-smalldata-compute01                        
6   ssd 1.00000         osd.6                        up1.00000 1.00000
-12       1.00000   host ssd-smalldata-compute02                        
7   ssd 1.00000         osd.7                        up1.00000 1.00000
-13       1.00000   host ssd-smalldata-compute03                        
8   ssd 1.00000         osd.8                        up1.00000 1.00000
-4       6.00000 root ssd                                                
-8       2.00000   host ssd-compute01                                 
0   ssd 1.00000         osd.0                        up1.00000 1.00000
1   ssd 1.00000         osd.1                        up1.00000 1.00000
-9       2.00000   host ssd-compute02                                 
2   ssd 1.00000         osd.2                        up1.00000 1.00000
3   ssd 1.00000         osd.3                        up1.00000 1.00000
-10       2.00000   host ssd-compute03                                 
4   ssd 1.00000         osd.4                        up1.00000 1.00000
5   ssd 1.00000         osd.5                        up1.00000 1.00000
-1             0 root default                                             
# ceph osd crush rename-bucket ssd-smalldata-compute01 ssd-compute01
Error EEXIST: dstname = 'ssd-compute01' already exists
# ceph osd tree
IDCLASS WEIGHTTYPE NAME                        STATUS REWEIGHT PRI-AFF
-7       2.00000 root hdd-bigdata                                       
-14       1.00000   host hdd-bigdata-compute01                           
12   hdd 1.00000         osd.12                     up1.00000 1.00000
-15       1.00000   host hdd-bigdata-compute02                           
13   hdd 1.00000         osd.13                     up1.00000 1.00000
-16             0   host hdd-bigdata-compute03                           
-6       3.00000 root hdd-smalldata                                       
-17       1.00000   host hdd-smalldata-compute01                        
9   hdd 1.00000         osd.9                        up1.00000 1.00000
-18       1.00000   host hdd-smalldata-compute02                        
10   hdd 1.00000         osd.10                     up1.00000 1.00000
-19       1.00000   host hdd-smalldata-compute03                        
11   hdd 1.00000         osd.11                     up1.00000 1.00000
-5       3.00000 root ssd-smalldata                                       
-11       1.00000   host ssd-smalldata-compute01                        
6   ssd 1.00000         osd.6                        up1.00000 1.00000
-12       1.00000   host ssd-smalldata-compute02                        
7   ssd 1.00000         osd.7                        up1.00000 1.00000
-13       1.00000   host ssd-smalldata-compute03                        
8   ssd 1.00000         osd.8                        up1.00000 1.00000
-4       6.00000 root ssd                                                
-8       2.00000   host ssd-compute01                                 
0   ssd 1.00000         osd.0                        up1.00000 1.00000
1   ssd 1.00000         osd.1                        up1.00000 1.00000
-9       2.00000   host ssd-compute02                                 
2   ssd 1.00000         osd.2                        up1.00000 1.00000
3   ssd 1.00000         osd.3                        up1.00000 1.00000
-10       2.00000   host ssd-compute03                                 
4   ssd 1.00000         osd.4                        up1.00000 1.00000
5   ssd 1.00000         osd.5                        up1.00000 1.00000
-1             0 root default                                             
# ceph osd crush
add                              remove                           set-device-class
add-bucket                     rename-bucket                  set-tunable
class                            reweight                         show-tunables
create-or-move                   reweight-all                     swap-bucket
dump                           reweight-subtree               tree
get-device-class               rm                               tunables
get-tunable                      rm-device-class                  unlink
link                           rule                           weight-set
ls                               set                              
move                           set-all-straw-buckets-to-straw2
# ceph osd crushset osd.6 1.00000 host=ssd-compute01
set item id 6 name 'osd.6' weight 1 at location {host=ssd-compute01} to crush map
# ceph osd crushset osd.7 1.00000 host=ssd-compute02
set item id 7 name 'osd.7' weight 1 at location {host=ssd-compute02} to crush map
# ceph osd crushset osd.8 1.00000 host=ssd-compute03
set item id 8 name 'osd.8' weight 1 at location {host=ssd-compute03} to crush map
# ceph osd tree
IDCLASS WEIGHTTYPE NAME                        STATUS REWEIGHT PRI-AFF
-7       2.00000 root hdd-bigdata                                       
-14       1.00000   host hdd-bigdata-compute01                           
12   hdd 1.00000         osd.12                     up1.00000 1.00000
-15       1.00000   host hdd-bigdata-compute02                           
13   hdd 1.00000         osd.13                     up1.00000 1.00000
-16             0   host hdd-bigdata-compute03                           
-6       3.00000 root hdd-smalldata                                       
-17       1.00000   host hdd-smalldata-compute01                        
9   hdd 1.00000         osd.9                        up1.00000 1.00000
-18       1.00000   host hdd-smalldata-compute02                        
10   hdd 1.00000         osd.10                     up1.00000 1.00000
-19       1.00000   host hdd-smalldata-compute03                        
11   hdd 1.00000         osd.11                     up1.00000 1.00000
-5             0 root ssd-smalldata                                       
-11             0   host ssd-smalldata-compute01                        
-12             0   host ssd-smalldata-compute02                        
-13             0   host ssd-smalldata-compute03                        
-4       9.00000 root ssd                                                
-8       3.00000   host ssd-compute01                                 
0   ssd 1.00000         osd.0                        up1.00000 1.00000
1   ssd 1.00000         osd.1                        up1.00000 1.00000
6   ssd 1.00000         osd.6                        up1.00000 1.00000
-9       3.00000   host ssd-compute02                                 
2   ssd 1.00000         osd.2                        up1.00000 1.00000
3   ssd 1.00000         osd.3                        up1.00000 1.00000
7   ssd 1.00000         osd.7                        up1.00000 1.00000
-10       3.00000   host ssd-compute03                                 
4   ssd 1.00000         osd.4                        up1.00000 1.00000
5   ssd 1.00000         osd.5                        up1.00000 1.00000
8   ssd 1.00000         osd.8                        up1.00000 1.00000
-1             0 root default                                             
# df -TH
Filesystem            Type      SizeUsed Avail Use% Mounted on
devtmpfs                devtmpfs   68G   0   68G   0% /dev
tmpfs                   tmpfs      68G   0   68G   0% /dev/shm
tmpfs                   tmpfs      68G9.8M   68G   1% /run
tmpfs                   tmpfs      68G   0   68G   0% /sys/fs/cgroup
/dev/mapper/centos-root xfs       582G2.8G579G   1% /
/dev/sda1               xfs       1.1G158M907M15% /boot
tmpfs                   tmpfs      14G   0   14G   0% /run/user/0
tmpfs                   tmpfs      68G   54k   68G   1% /var/lib/ceph/osd/ceph-0
tmpfs                   tmpfs      68G   54k   68G   1% /var/lib/ceph/osd/ceph-1
tmpfs                   tmpfs      68G   54k   68G   1% /var/lib/ceph/osd/ceph-6
tmpfs                   tmpfs      68G   54k   68G   1% /var/lib/ceph/osd/ceph-9
tmpfs                   tmpfs      68G   54k   68G   1% /var/lib/ceph/osd/ceph-12
#
#
#
# ceph osd crush remove ssd-smalldata-compute02
removed item id -12 name 'ssd-smalldata-compute02' from crush map
# ceph osd crush remove ssd-smalldata-compute01
removed item id -11 name 'ssd-smalldata-compute01' from crush map
# ceph osd crush remove ssd-smalldata-compute03
removed item id -13 name 'ssd-smalldata-compute03' from crush map
# ceph osd crush remove ssd-smalldata
Error EBUSY: (16) Device or resource busy
# ceph osd tree
IDCLASS WEIGHTTYPE NAME                        STATUS REWEIGHT PRI-AFF
-7       2.00000 root hdd-bigdata                                       
-14       1.00000   host hdd-bigdata-compute01                           
12   hdd 1.00000         osd.12                     up1.00000 1.00000
-15       1.00000   host hdd-bigdata-compute02                           
13   hdd 1.00000         osd.13                     up1.00000 1.00000
-16             0   host hdd-bigdata-compute03                           
-6       3.00000 root hdd-smalldata                                       
-17       1.00000   host hdd-smalldata-compute01                        
9   hdd 1.00000         osd.9                        up1.00000 1.00000
-18       1.00000   host hdd-smalldata-compute02                        
10   hdd 1.00000         osd.10                     up1.00000 1.00000
-19       1.00000   host hdd-smalldata-compute03                        
11   hdd 1.00000         osd.11                     up1.00000 1.00000
-5             0 root ssd-smalldata                                       
-4       9.00000 root ssd                                                
-8       3.00000   host ssd-compute01                                 
0   ssd 1.00000         osd.0                        up1.00000 1.00000
1   ssd 1.00000         osd.1                        up1.00000 1.00000
6   ssd 1.00000         osd.6                        up1.00000 1.00000
-9       3.00000   host ssd-compute02                                 
2   ssd 1.00000         osd.2                        up1.00000 1.00000
3   ssd 1.00000         osd.3                        up1.00000 1.00000
7   ssd 1.00000         osd.7                        up1.00000 1.00000
-10       3.00000   host ssd-compute03                                 
4   ssd 1.00000         osd.4                        up1.00000 1.00000
5   ssd 1.00000         osd.5                        up1.00000 1.00000
8   ssd 1.00000         osd.8                        up1.00000 1.00000
-1             0 root default                                             
#
页: [1]
查看完整版本: ceph存储对osd tree相关的root 和bucket 操作记录过程