浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph+centos 7+oracle 11g rac安装流程ceph分布式与rac ...
返回列表 发新帖
查看: 3488|回复: 1

ceph+centos 7+oracle 11g rac安装流程ceph分布式与rac集群使用方式

[复制链接]
admin

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
发表于 2021-7-1 11:13:00 | 显示全部楼层 |阅读模式
1.环境
$ O. C1 I% x0 I6 w9 M3 b  版本:
; h: X$ U1 |6 h" L: g/ h( `  centos 7.9
3 U* \) B% b1 V3 `3 Q8 x6 _6 O  ceph 14.2.8$ C( K7 J0 K6 T" e" ?0 i
  oracle 11.2.0.3
' a1 d# L0 I5 X
# U* n' G; q5 N! v7 p  机器构成:
7 L9 t( }( s% B, F6 x" n0 Y9 t   ceph 集群的构成:
& @- t# \1 s" X, ^+ f   ceph-mon1 管理节点和监控节点    192.168.13.701 \7 R2 \' ~3 X& G
   ceph-osd1  存储节点                    192.168.13.71   
7 I  ~8 M) ?' Q) y   ceph-osd2  存储节点                    192.168.13.72   
9 x& d4 A; {4 }   ceph-osd3  存储节点                    192.168.13.73   
7 D* J) c/ `( J' Y( r* P. |) N  N( k1 r$ i  M7 d  ~" W- r$ f
  规划的每台机器贡献出来的存储空间4 m! r  D5 i1 F5 |! R/ C; c
  ceph-osd1   50g
: M. s8 H, }- ?  ceph-osd2   50g: U) |0 p3 j: L4 I! X
  ceph-osd3   50g) v9 P) ?$ @& z' _
. O5 j0 w8 R( ], R5 Y+ o
  我这里是测试,正常规划,应该大小上接近,因为默认池的副本为3.
1 X# o' h1 |5 ~- R+ C2 |7 _
: z, |; a. }3 o4 ?# J8 \5 z   数据库环境:
0 O$ d$ d5 t# V" S   ceph-rac1  数据库节点                 192.168.13.757 t1 _2 H" P; N
   ceph-rac2  数据库节点                 192.168.13.76; C2 I4 U4 S' R& k2 n+ P& ^

2 B& U+ {6 r' F" @( f" a4 x   rac ip* \( g0 k( w- L
   192.168.13.75 ceph-rac1   - i1 l" R% V1 F, ^1 N
   192.168.13.76 ceph-rac2   
8 _* B( w4 D4 \
' A9 }& I6 y3 |( ^   192.168.13.77 ceph-rac1-vip+ N  r9 I$ a7 C' j: O' P2 @
   192.168.13.78 ceph-rac2-vip7 R, K' ^3 e+ c2 C: L1 ]5 t
% N" u0 y, y. B- r
   192.168.13.79 ceph-scanip
% W) D: m/ M3 ]8 i# }& }2.安装ceph 集群
  D- L  C; C1 M, z( j9 F6 N9 j  在 ceph-mon1,ceph-osd1 ,ceph-osd2,ceph-osd3上安装ceph集群; g" B) z. m' e# y5 \
   具体安装见另外的帖子.; ?9 M0 A" X1 l+ U' n
) C# Y( H& V. x2 @
3.规划磁盘$ O: U  I1 i2 I; T) q
, v1 l3 H) m3 C( I3 o
  规划的每台机器贡献出来的存储空间+ Y# H4 B8 j# _8 z2 J! ~
  ceph-osd1   20g   分区 /dev/sdb
, I& _4 [4 O$ {  ceph-osd2   30g   分区 /dev/sdb
$ \3 q( L7 l: g  s  ceph-osd3   40g   分区 /dev/sdb
$ x" x4 T+ ?( D  3.1 列出每个节点上的磁盘( B, s; F. ]0 ]* N* C
   
# ?8 |( F. E$ |  |5 y4 V- |* l  查看一下 Ceph 存储节点的硬盘情况：9 V  t1 H4 W: n! A# P
  # ceph-deploy disk list ceph-osd19 L) C3 ]8 P+ M; [' P  \
  # ceph-deploy disk list ceph-osd2
  J/ W( V! S8 O% i& u  # ceph-deploy disk list ceph-osd3
+ \- g2 V5 \) m0 |) q% l4 d" c! F3 C, K, h' w/ U7 Z- G  ~! x
  3.2 擦出盘所有数据
# P- ~3 F# C: J  U: p  #ceph-deploy disk zap ceph-osd1 /dev/sdb5 L% a1 H7 v# y" n6 x2 x3 Q
   ceph-deploy disk zap ceph-osd2 /dev/sdb( P9 S4 Q. _& A! ]* r8 [' A' p
   ceph-deploy disk zap ceph-osd3 /dev/sdb' c9 ^; o; p( i/ A/ k9 T$ C

- C' n# f" g' A  y: L
5 _3 [2 t" A' y; S6 s1 p
  3.3开始创建osd7 R! L. h8 u9 P2 m% V0 ?3 z
7 ^/ h. q8 h' m# ^" F6 o( o( A
ceph-deploy osd create  ceph-osd1  --data /dev/sdb
ceph-deploy osd create  ceph-osd2 --data /dev/sdb. c. z) L0 c! G' ^7 u8 P# a$ d7 y
ceph-deploy osd create  ceph-osd3  --data /dev/sdb
) }# O  K8 K  Z8 v
$ ]# C2 w2 k& G$ [# @; O3.4查看pool池：5 T# y, _" o5 B- i7 y
ceph osd pool ls, l# q6 a# q, {6 J( p
images
2 u+ |2 b/ v. ?; Mrbd
- o) P; _& q7 ^9 ]( ^' t
) \0 n" q- y& l7 j" `( ^; I  默认有一个池 ,rbd
" Z/ W3 Z1 ]% l" H" b
! I; Y. F9 K) l) @; G  3.5 创建新的池# H, a: L, D3 S/ _! n) P
   3.5.1 删除原来的池
! D! q: P- v' R   rados rmpool rbd rbd --yes-i-really-really-mean-it
7 X& H9 t9 m7 j" `3 P$ j' d   3.5.2 新增加池8 m) t4 U5 u) C/ g! x
    这里的池,就有点像我们lvm中的卷组: k# d" g" N( u/ m' H1 L
    考虑到我们要安装rac,因此,把vote,ocr盘 ,与数据盘分开,因此,我们建立两个池.
/ v5 Z/ k6 t: @" g9 ~- C" {- A
, e' p; U' G* E+ m# v    ceph osd pool create votpool 128) n0 {" |, t8 c& P2 f, U2 }( Y
    ceph osd pool create asmpool 128
( S" T* m0 g4 D: b4 L( J3 h
+ a7 `% _; w1 w! U; L4 k! B    注意:以上在ceph-mon1机器上操作.# s/ n" Z" P4 {

, G, y) p4 I8 ?+ o4. rac节点安装ceph 软件0 X5 H2 {1 A9 w+ B' o! c
   在ceph-rac1,ceph-rac2上安装ceph软件,让他们可以使用ceph存储) Y5 Y- d& T% w: p( @# q
; r2 Z) A8 _3 T/ L7 h8 E% ]; @
   具体安装安装简略如下:7 T, O% h. c( i4 p" t( @0 K9 x! R
   4.1 安装clenit软件
% @6 }# b" G- B4 I6 @* }) X) H    yum install ceph ceph-radosgw rdate -y
+ M/ ~4 N( R! v. B8 l* V) F( Q  O5 r9 s( w' G/ J  |
    注:这个操作在ceph-rac1,ceph-rac2上操作
* B  n3 Y; n! S: F) W
0 q: s+ f& m1 X9 T! d   4.2 把配置文件和密钥拷贝到client节点ceph-rac1,ceph-rac2
  Q9 k1 M* z& y) |6 J    [root@ceph-mon1 ~]# cd /root/ceph-cluster/
% W5 E3 _; d, w9 q- O5 U  M0 }    [root@ceph-mon1 ceph-cluster]# ll
) x/ B* e5 G; g$ \    total 220( d: v4 N" i& f7 u  j( W
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-mds.keyring
7 N+ ]0 Q! a; T2 H" R2 Z* A% u6 Y    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-osd.keyring
6 K) m# z) p$ @' V0 m4 f# j: ~    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-rgw.keyring8 _. f6 z8 V$ I8 w' Z& F
    -rw------- 1 root root 129 Oct 26 04:21 ceph.client.admin.keyring4 @/ j7 O3 ^. P) m8 W& F( B
    -rw-r--r-- 1 root root 258 Oct 26 04:20 ceph.conf1 x9 g8 S0 v5 v6 S, K& S
    -rw-r--r-- 1 root root 200577 Oct 27 07:21 ceph-deploy-ceph.log4 Q4 T7 u' o8 a+ h
    -rw------- 1 root root 73 Oct 26 04:16 ceph.mon.keyring
( [) s$ u3 S  m    看到有很多密钥，mds,osd,rgw,client密钥，需要拷贝的就是ceph.client.admin.keyring和 ceph.conf: Q1 u: V5 u% A
    可以用ceph-deploy工具拷贝
2 t; ^: w) _1 w# |; O9 u' @% R- a   $ L. K, J# M2 I6 ?% F
    [root@ceph-mon1 ceph-cluster]# ceph-deploy admin ceph-rac1 ceph-rac2
& T  |9 r5 w6 a
) {- e9 N7 |7 x$ p/ j    ceph-deploy 工具会把密钥环复制到 /etc/ceph 目录，要确保此密钥环文件有读权限
1 m6 x, _% X/ [1 N# b; f$ v    (如 chmod +r /etc/ceph/ceph.client.admin.keyring)。+ l! ^9 l9 W/ J3 G/ O- p: I( J
3 |7 w, t5 [3 F
      注意:以上在ceph-mon1机器上操作.  + D# O9 y/ ~( h( I" V

) R( j9 @+ f) K3 H( J/ q: ^5.创建具体的image
. K& |# ?7 t5 g& {( U+ ?; q' m0 `) l. T3 b. q( Q' K# A
   在 ceph-rac1 节点上创建一个块设备 image 。! U9 D* \( R; Y8 h! K% o4 n. n
   1 ]4 A7 E9 H& O, X& n
   --创建3个1G 的vote盘 Image$ V. o7 F3 O1 F. S2 P* V
   [root@ceph-oracle ceph]#
# P7 Q$ J) v) l7 _9 P   rbd create votpool/img_vot1 --size 1G --image-format 2 --image-feature layering
  I4 E2 S3 @6 y5 r. ?8 S6 o   rbd create votpool/img_vot2 --size 1G --image-format 2 --image-feature layering) }0 R' q9 a2 U' R1 S0 i* K1 T

' C% T7 c+ a1 Q0 j' d2 z7 K   rbd create votpool/img_vot3 --size 1G --image-format 2 --image-feature layering/ R& O# z& ]% n! R" t# X3 k! ?
* E# y  W- o5 U, B$ {
   --创建5个2G 的数据文件盘 Image
4 J& T" w0 k1 V+ w0 r$ v8 r& j/ ^
   rbd create asmpool/img_asm1 --size 2G --image-format 2 --image-feature layering
9 |( Z' C" M. \! ~0 z1 m- e) B  h( {   rbd create asmpool/img_asm2 --size 2G --image-format 2 --image-feature layering+ |- b) H. K7 u- r
   rbd create asmpool/img_asm3 --size 2G --image-format 2 --image-feature layering
2 n3 w* _" W) G( T- @   rbd create asmpool/img_asm4 --size 2G --image-format 2 --image-feature layering
/ ?; }) [# o$ E; t7 ?  ^1 h4 |   rbd create asmpool/img_asm5 --size 2G --image-format 2 --image-feature layering
; b* y. [7 |8 h0 a# c' H) @6 Y
5 B' n# p. o0 r6 `+ A( y   --查看rbd池中的块设备9 f+ p  p) w) {
  [root@ceph-mon1 ceph-cluster]# rbd ls --pool votpool. Y4 Z7 Y0 e' F% A! x
  img_vot1
& O" d! ]  B/ j9 J( |* A, H  img_vot2* }  }8 I& @7 o% d
  img_vot3
& e) f6 e/ _' ~1 I! a) g% i' H/ h: s8 x( {8 R' u& {
   [root@ceph-mon1 ceph-cluster]# rbd ls --pool asmpool( M! m+ {& @8 V7 U. j$ M2 j; h  ^
   img_asm11 s4 z) `: U# V2 `: j1 {
   img_asm2
6 ^2 Z4 [+ A0 t! E   img_asm3" F* n9 n, ]% `) [- R. e
   img_asm4
2 U2 `! S2 z) k# W+ s: S! m' o( C   img_asm5
: Q- E  p9 r: P/ g' L  f& O+ B" F0 _
6.映射块设备
8 j7 R" r  z# h8 n* O9 M& K  这个必须在客户端节点上执行,比如ceph-rac1,ceph-rac2上执行.  M8 J! D% S) D" @
  v$ m  B9 c- ]! d$ R; J
   [root@ceph-rac1 ceph]#& K( S& o+ w! w' e. t
: B' T' A9 `+ E2 m, p! {9 ]" U) }
   rbd map votpool/img_vot1   
3 C9 m: o+ ]& s/ ?   rbd map votpool/img_vot2   ) Y/ Q+ r' r' R$ |+ I% U+ k
   rbd map votpool/img_vot3   % Q" t6 r& I* d& v
   rbd map asmpool/img_asm1     
2 Z# C/ {0 `% C1 w* r9 [! {' U6 \3 l9 [   rbd map asmpool/img_asm2
6 V, _% V3 a- T" \0 Y   rbd map asmpool/img_asm31 @8 C; I! ]: s, o, X: V" n
   rbd map asmpool/img_asm4
0 |  z# {  W9 C' i- I; Z   rbd map asmpool/img_asm5
! g  P  C4 s" C4 W& K* `
& |, R; r; d, f4 V0 F   这个时候,我们通过lsblk上,可以看到新的块设备了:6 _' E/ B  N/ [1 Q3 Y
   [root@ceph-rac1 ~]# lsblk
+ }$ |: K; g! ^. M0 p' ?   NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
; L+ k' A* j, y) ~   sda               8:0    0  100G  0 disk2 Z7 u/ `' q5 i/ ~4 A8 \8 R5 a, I
   ├─sda1            8:1    0    1G  0 part /boot
& J# n7 i2 ~( i3 u) J- N" Z+ E" A   └─sda2            8:2    0   99G  0 part
$ [) C# g) j. _: w     ├─centos-root 253:0    0   50G  0 lvm  /
7 ?0 L. b4 h6 |* h# N+ {* [     ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]/ h) F$ ]& S2 `& B* a: f/ v% F
     └─centos-home 253:2    0   47G  0 lvm  /home& T+ L; ^* x) E
% F1 W" _: R# `
   rbd0            252:0    0    1G  0 disk1 i  t1 V: N% E
   rbd1            252:16   0    1G  0 disk
  Y& g' E4 X( k& o  Q& T   rbd2            252:32   0    1G  0 disk
0 K: }6 o- e# Q9 G, e   rbd3            252:48   0    2G  0 disk. p; V& a1 l) W  ^2 e9 k
   rbd4            252:64   0    2G  0 disk
/ a' t+ J3 V/ X5 P2 D6 M7 |   rbd5            252:80   0    2G  0 disk
) d1 J# Q0 w) m" g1 M- n   rbd6            252:96   0    2G  0 disk" @0 ^) p. m0 a) p9 r* ~+ E
   rbd7            252:112  0    2G  0 disk   
. i5 l3 f3 f( a4 c7 F) \3 X; s
* j8 k; H$ C9 m( S  --要查看这个对应关系:. b' p' ^9 T" u/ L0 L

2 F: P  E' F; N3 K; T! n) R8 ]# M  [root@ceph-oracle ~]# rbd showmapped
5 R- p9 e; u5 E9 k: x9 ?$ t  id pool    image    snap device   . M& S/ l7 s. Z$ k
  0  votpool img_vot1 -    /dev/rbd09 F/ I* M  K3 z0 k. h
  1  votpool img_vot2 -    /dev/rbd1% @5 u7 N$ K* X  P. ?
  2  votpool img_vot3 -    /dev/rbd2
$ r( A' b" j/ P1 A/ i9 G" L; w" T  3  asmpool img_asm1 -    /dev/rbd3/ V- d  B+ U. c
  4  asmpool img_asm2 -    /dev/rbd4" [9 a, J9 Q* |  }) V/ B
  5  asmpool img_asm3 -    /dev/rbd58 f! d! u! f4 z' r" h9 o
  6  asmpool img_asm4 -    /dev/rbd6! H' r0 j9 I) n4 i! w6 }
  7  asmpool img_asm5 -    /dev/rbd7; c5 q4 Z+ ]! f+ f* M
4 J3 M# y/ m: k$ P* l8 J
7.修改权限
2 U) F8 W7 M' e  这个块设备,每次重起,权限都会变回root:root2 f' n, `. a6 ~" O8 }) J- W2 L$ {
  而且,这个对照也必须手工重起映射.. R% L" z4 m8 \1 ^* S% M
  因此,我们可以在 /etc/rc.local中,对应权限和映射,都写在里面
5 d! f6 I" Q6 s1 D; y2 k5 m) Q8 z4 d, q$ Q: c1 z
  [root@ceph-rac1 ~]# cat /etc/rc.local6 M' X4 a  e5 H* q
#!/bin/bash- A8 N" K+ `" F( z4 K0 P1 B
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES& y" X) {3 F9 e3 g7 B% m
#
8 M, m+ C( w( X0 j# E" z4 o" B6 Z# It is highly advisable to create own systemd services or udev rules
3 v, b9 ~, P2 m- V5 H# to run scripts during boot instead of using this file.( P3 U7 G: W& k' V$ P1 V
#/ O) S* u! Q" Z) q
# In contrast to previous versions due to parallel execution during boot
! V/ z3 S& }( [# this script will NOT be run after all other services.
5 [. b! f; w/ p/ z# V5 a#6 n' A. {8 @2 H' I
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure3 F0 ?$ N/ {+ l0 M
# that this script will be executed during boot.
5 B7 E- `" e8 i- u7 t' \) xtouch /var/lock/subsys/local; n- r* l' ]/ k- @! y
rbd map votpool/img_vot1   9 k# [9 \+ f" T( X
rbd map votpool/img_vot2   
6 Y0 x6 d: I" d6 j0 e4 ]rbd map votpool/img_vot3   2 s( {! E$ m& ^% H
rbd map asmpool/img_asm1     9 i9 S: p7 ?+ E* ~( i! s
rbd map asmpool/img_asm21 l  y1 z) u' `. a: X8 T
rbd map asmpool/img_asm3
) b  A0 p2 M, Q5 Srbd map asmpool/img_asm44 n# [; a" h( M" w: T3 x
rbd map asmpool/img_asm5! S: q3 F+ v) U0 }  _
chown oracle:dba /dev/rbd*# \6 w6 L! m: o
chmod 660 /dev/rbd*
: T& v7 ^$ Z- V4 D4 N5 [+ x, b' N! E& V9 x! W
3 b% L7 D* ~& u! q& H6 m3 J* \( [
编辑完后,执行以下语句,否则,系统重起,不会执行/etc/rc.local6 ]% w3 T& d# G  d
chmod +x /etc/rc.d/rc.local
  H5 Z8 y" a9 ]5 Z8 {( Q: ]. }0 C& v- ~* K
之后,每次启动后,映射和权限对应都会自动修改.
, o4 R; \+ {5 z; T# R  E% T" Z- |  u" b# |4 ^
8.安装rac
9 `! ~! u3 L# s# Z+ G, `$ u! Y, D  具体安装步骤略7 c: r& f( M) R3 r# d. S
  安装过程和普通的rac安装没有任何差别.' r. A+ U! w8 k( g0 V+ ]# K) M' N
$ T. W* Q6 o9 L, G# }
  磁盘的对应关系:
# A/ \6 x0 Q2 A! N9 M  /dev/rbd0    dgocr
# X! D) O& \' A  /dev/rbd1    dgocr* T/ X# U' ], b! F1 X# \* L4 `
  /dev/rbd2    dgocr
* R1 O  {! d2 X% p7 u0 H
- k" V" O) t# h* V  /dev/rbd3    dgdata0 `2 m( Y( @. x- }, }* w
  /dev/rbd4    dgdata
1 q9 h9 Z, D2 B  /dev/rbd5    dgdata2 `4 C& h$ t' l5 I( v  Y
  /dev/rbd6    dgdata
, p( u+ `- p7 l. j& ~, w- k  /dev/rbd7    dgdata3 c6 ]: ?1 ?6 e; u5 q
) W5 b( |  r1 ^+ T. T
9.安装完成:' D/ w: _* }2 m* V8 ]
    1* select name,path,os_mb from v$asm_disk
  D5 ^- H7 [- U& S- I5 p! U8 iNAME                           PATH                                OS_MB7 ?0 z% Z3 C7 a4 M' D3 Z
------------------------------ ------------------------------ ----------
# w, H. h  ]! s+ \( _( q* w2 r  Z& ^DGDATA_0004                    /dev/rbd7                            2048# f, k2 b2 {: p/ g
DGDATA_0003                    /dev/rbd6                            2048. n8 Z  A* z& U  |
DGDATA_0002                    /dev/rbd5                            2048
# x) o0 @6 A6 a5 SDGDATA_0001                    /dev/rbd4                            2048. F, [  [. o6 |2 l' P  c
DGDATA_0000                    /dev/rbd3                            2048
  w6 m: J0 ~/ G# `DGOCR_0002                     /dev/rbd2                            10241 R$ p; P1 W% m5 D9 F% R
DGOCR_0001                     /dev/rbd1                            1024
8 e/ t  }0 s; Q9 L' o, o, e( jDGOCR_0000                     /dev/rbd0                            1024
8 B, e+ l/ z  P$ u4 N" Y/ i7 P6 e8 m. K
资源状态:% K7 e$ b* S& V  Q- [1 Y  h/ y
[oracle@ceph-rac1 ~]$ crsctl stat res -t  v! H/ f4 j2 o
--------------------------------------------------------------------------------" w6 H* H8 E: p7 r  e% m
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      : K  t- l0 e3 C) I" d1 ~: U
--------------------------------------------------------------------------------
( ^% |0 ~9 b$ l7 e$ mLocal Resources. e/ s0 N3 @6 p, J: F* L
--------------------------------------------------------------------------------; w" H% w" C# b1 @9 ?5 j+ e% H
ora.DGDATA.dg
; U$ b. {/ r: B2 L- ?               ONLINE  ONLINE       ceph-rac1                                    , a, q+ z6 x5 q) u4 S
               ONLINE  ONLINE       ceph-rac2                                    
# ?* v2 b0 u2 x: A6 ~) x: Fora.DGOCR.dg
; a, V, H1 h2 j6 d5 T% C8 G& ?! v               ONLINE  ONLINE       ceph-rac1                                    4 P, {4 g- B/ m7 p
               ONLINE  ONLINE       ceph-rac2                                    
8 x' j/ g# V9 I. q1 Aora.LISTENER.lsnr% x0 ]6 [8 |/ S1 i  o& j0 w
               ONLINE  ONLINE       ceph-rac1                                    
% x8 N( N' ]1 s) ]9 D" c) l3 V               ONLINE  ONLINE       ceph-rac2                                    
0 ^( w& d* I* T7 @9 o) C5 Kora.asm
2 U! _: T: Z3 }               ONLINE  ONLINE       ceph-rac1                Started            7 {0 ?. i8 O- t5 M  a* ~
               ONLINE  ONLINE       ceph-rac2                Started            
+ p2 f; F( x& v9 }) xora.gsd& G4 M+ d; Y1 q$ {
               OFFLINE OFFLINE      ceph-rac1                                    
0 _; Z3 B5 N) q* A               OFFLINE OFFLINE      ceph-rac2                                    $ `6 w- r6 x/ {& K( `
ora.net1.network
* d& o6 e6 R/ o               ONLINE  ONLINE       ceph-rac1                                    
- v) l4 H; ]3 C: l7 w+ b1 l               ONLINE  ONLINE       ceph-rac2                                    
9 b2 W0 e- ?  g  e  o! hora.ons
$ M& t  q9 i* \; Y& ^6 e+ `               ONLINE  ONLINE       ceph-rac1                                    
: T" x5 ?0 T! l3 x2 Z! R               ONLINE  ONLINE       ceph-rac2                                    - s- V, d/ R2 H1 f
--------------------------------------------------------------------------------: Y& U# N* A8 @1 Z5 W
Cluster Resources. D5 M& G7 W; I9 T) F  t
--------------------------------------------------------------------------------
# x- d  R6 p7 y5 s1 oora.LISTENER_SCAN1.lsnr
" f3 q7 x9 ]6 s, C( D* }3 C. ]      1        ONLINE  ONLINE       ceph-rac1                                    
0 f) v. U* Q- j! {. @ora.ceph-rac1.vip
# M1 D$ |- b: `% s      1        ONLINE  ONLINE       ceph-rac1                                    
7 L2 }1 _& k# ^* N* G- n$ A! G( P' Iora.ceph-rac2.vip2 d; ]: ]) J) K
      1        ONLINE  ONLINE       ceph-rac2                                    % f8 m$ X9 ?" v* Z# N: M/ X
ora.cvu
0 x+ ~& S! u! D( t5 M) x  K      1        ONLINE  ONLINE       ceph-rac1                                    6 z  v! X2 O- Y' `9 j6 q
ora.oc4j% f: e7 P" t6 p% u
      1        ONLINE  ONLINE       ceph-rac1                                    / C3 p2 B+ j# V1 N3 |
ora.scan1.vip- l" W' g. }; C; @# @- M
      1        ONLINE  ONLINE       ceph-rac1                                    5 C# i7 j" q8 [0 g( w/ r: ~3 h: c
ora.sztech.db$ c& ~  e9 X9 K$ b6 B- J
      1        ONLINE  ONLINE       ceph-rac1                Open               
6 F& w: Z/ }  D% s+ H" l, }  A      2        ONLINE  ONLINE       ceph-rac2                Open
3 O! n" y  ]4 G% N9 l0 F: C
回复

举报

admin

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-5-26 10:34:17 | 显示全部楼层

' G2 f' t1 V4 Q) h1.环境$ }9 }7 L3 @/ a( o
  版本:! Z8 h$ f, U3 T( U
  centos 7.4- k6 v6 K) v( L, d, u' i
  ceph 10.2.95 f; {- s4 O* f" j5 L
  oracle 11.2.0.4
# y1 s. n6 B9 Z2 j! N4 v5 M, Z: ]$ x9 _" \
  机器构成:' n  b$ h" A7 s  \  L
   ceph 集群的构成:0 H8 k5 }6 z% j  h& W7 n' T
   ceph-mon1 管理节点和监控节点    192.168.0.170
* \4 F) }% L: Q( V* g$ G" y   ceph-osd1  存储节点                    192.168.0.171   
5 B9 V  X+ Z1 z# g   ceph-osd2  存储节点                    192.168.0.172   
+ Z& n' Z4 p  U! a1 {+ b, L8 H   ceph-osd3  存储节点                    192.168.0.173   
2 H1 ?+ m. J8 L. Z) p* H: `5 Z0 f; h$ G9 E0 B
  规划的每台机器贡献出来的存储空间
1 B8 M5 t) S' I  z$ R4 e  ceph-osd1   20g
* V  l2 ?7 F5 {$ r  ceph-osd2   30g- N7 t7 z9 M, L! r3 H  w
  ceph-osd3   40g9 [8 g% p9 p( J4 B# n0 _

/ T# R  _' m& v6 n2 h; |  我这里是测试,正常规划,应该大小上接近,因为默认池的副本为3.! }3 U5 i3 g* q+ c: i7 N
9 o5 S$ y- Z% N
   数据库环境:5 C$ H0 `2 I. h
   ceph-rac1  数据库节点                 192.168.0.175
$ Q- O8 n) R9 V# ?4 F   ceph-rac2  数据库节点                 192.168.0.176$ t, n7 `- k1 a+ N

! L$ e4 h: q9 c9 f1 p5 @* h% v6 h   rac ip
3 `+ q. K+ J$ U) ~! j   192.168.0.175 ceph-rac1   
* @# `) d6 M1 ?$ ?# L1 a   192.168.0.176 ceph-rac2   
/ q/ y5 `0 g7 k9 X/ {: ~& Z4 D8 Z6 Z
   192.168.0.177 ceph-rac1-vip5 n1 ]" d) l  {
   192.168.0.178 ceph-rac2-vip
: q+ I/ n$ \/ C$ c& g5 T9 U2 O. x* A+ Z; z# U( l2 M5 d  \
   192.168.0.179 ceph-scanip
( f- g# N2 w1 O- X2.安装ceph 集群, u/ Q' `. h7 s9 t8 x; s; z
  在 ceph-mon1,ceph-osd1 ,ceph-osd2,ceph-osd3上安装ceph集群% o, v2 U6 e, Q1 a( U( @  ]3 a
   具体安装见另外的帖子.# C  i+ x0 T- ~8 p* R# I7 K

0 J8 q4 L' v6 |/ D* d  p- d+ r3.规划磁盘
: b7 i/ G( A  C8 h. ~, h
# _, O  j, t2 Q! E2 d- B. N5 z  规划的每台机器贡献出来的存储空间
: W4 Y( e. Y  e9 i# I' F  ceph-osd1   20g   分区 /dev/sdb: ^$ p/ @/ T6 G& [
  ceph-osd2   30g   分区 /dev/sdb
3 E6 i$ w8 k# s7 N5 l, P: Q  ceph-osd3   40g   分区 /dev/sdb
% V: U, e' k# g& l7 p) e  3.1 列出每个节点上的磁盘
! [1 I$ G+ _. I# ?$ E5 |   * x# s; A. S) H& @
  查看一下 Ceph 存储节点的硬盘情况：: F+ _" |) ~' l, U( ~. ]& i' ]
  # ceph-deploy disk list ceph-osd10 k' b7 k; b1 z
  # ceph-deploy disk list ceph-osd2) r6 N7 u% T2 t: m5 ?
  # ceph-deploy disk list ceph-osd3
9 K9 X/ ~0 d) `, S: r# A
. M" s2 P& x) m+ o  3.2 擦出盘所有数据& ~) `$ n2 l" i
  # ceph-deploy disk zap ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb
/ W; \, F' u. _2 Y   0 o9 H' O0 H& J
  3.3 格式化盘
: j8 w' {/ D) D- g  # ceph-deploy osd prepare  ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb        / H* q! G7 d4 \) y
  & T4 |* O- \6 |7 U
  3.4 激活盘
2 W" @6 i# T5 q# f& I  #ceph-deploy osd activate  ceph-osd1:/dev/sdb1 ceph-osd2:/dev/sdb1 ceph-osd3:/dev/sdb1        ) d8 S) C6 z1 f7 W
% s8 h# h+ w% d$ ]
  [root@ceph-mon1 ceph-cluster]# ceph df* Z) \' h6 z- A+ F$ t* K$ t8 k* O+ S+ V
GLOBAL:
' p0 F! S# V2 c6 t    SIZE       AVAIL      RAW USED     %RAW USED+ S0 T3 r, l% b, o0 B1 t
    76756M     71317M        5439M          7.094 h4 U, k) q- }$ C. }+ v; i9 T( s
POOLS:5 k! a, b9 m4 S& Q- S) {* n
    NAME        ID     USED      %USED     MAX AVAIL     OBJECTS
5 }" w- ?$ U9 u; B0 c    rbd            0
: E. [; ]+ x; d6 N" n
) y' V+ X. W. d8 p9 y, X  默认有一个池 ,rbd
  [$ p0 Z# V; {$ O/ [4 D" s: x; F. H4 o" P, _# s
  3.5 创建新的池6 Z0 X% i9 m7 B& s- c! ~9 |
   3.5.1 删除原来的池
0 }, n1 c! U2 L$ F   rados rmpool rbd rbd --yes-i-really-really-mean-it
/ y% k4 X) T( E( N* k   3.5.2 新增加池: V2 G. Q  s9 I/ K
    这里的池,就有点像我们lvm中的卷组
" V) r8 h& o! @3 v$ I    考虑到我们要安装rac,因此,把vote,ocr盘 ,与数据盘分开,因此,我们建立两个池.2 t$ ?2 B; i. Y* v( ~* ?  y
0 I% f7 O& U- L0 I, K- U
    ceph osd pool create votpool 128
7 o; N# J' b& U6 v6 X; ]    ceph osd pool create asmpool 120
, d$ U1 h6 x& P9 j+ l7 o9 d2 E" f! X( R/ Z3 A
    注意:以上在ceph-mon1机器上操作.% s( a5 G" M% W( v8 u
+ \! }7 O8 m9 z8 G- L/ h5 i6 K
4. rac节点安装ceph 软件
- U/ m- k/ W; A6 K' s5 U* i   在ceph-rac1,ceph-rac2上安装ceph软件,让他们可以使用ceph存储
+ D/ l6 x: M( ]! ~3 j# q. s! j# @& |" _4 Y/ t$ P2 ~7 t+ M
   具体安装安装简略如下:" Y( J: S4 @$ i% J# }) Z$ Y
   4.1 安装软件
9 k7 [5 Y/ s$ O! ?3 F6 k    yum install ceph ceph-radosgw rdate -y3 W/ H& B5 M% `1 o, \

4 s4 D; i, m, ?# e4 s3 g3 j    注:这个操作在ceph-rac1,ceph-rac2上操作! W6 M0 K+ ~. P% m- o

3 c6 X. q8 Z8 C+ @$ Z   4.2 把配置文件和密钥拷贝到client节点ceph-rac1,ceph-rac20 u" S1 E% O# V
    [root@ceph-mon1 ~]# cd /root/ceph-cluster/' f7 S1 Y4 p, `7 ~; H- M! c' r1 ]
    [root@ceph-mon1 ceph-cluster]# ll' W0 f" l/ U- V; ]
    total 220! a6 g  |2 i2 H; n7 T& N
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-mds.keyring+ ^) f. G5 E/ \% E. n) Z/ m3 ]
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-osd.keyring
* N/ v2 l3 V% `5 P1 M; U    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-rgw.keyring
0 _4 O6 F5 B# ^* k, o* E    -rw------- 1 root root 129 Oct 26 04:21 ceph.client.admin.keyring2 _$ P, O6 o2 n7 o
    -rw-r--r-- 1 root root 258 Oct 26 04:20 ceph.conf" J: y9 ]) f& G. ]
    -rw-r--r-- 1 root root 200577 Oct 27 07:21 ceph-deploy-ceph.log
) [" Z  K" w. I- g2 K: a( w    -rw------- 1 root root 73 Oct 26 04:16 ceph.mon.keyring
5 Y# }6 A. u4 `* v* w# W    看到有很多密钥，mds,osd,rgw,client密钥，需要拷贝的就是ceph.client.admin.keyring和 ceph.conf* Q, G: c: G2 F* f  q# c
    可以用ceph-deploy工具拷贝
" D1 d: y( ]3 k* M# X; T3 Z0 q7 L1 ^# w   5 X% k1 U$ G/ h4 Z- d# S8 \
    [root@ceph-mon1 ceph-cluster]# ceph-deploy admin ceph-rac1 ceph-rac2
3 ~4 N& E4 w0 f% x' b, k+ O$ y' q9 u4 ]0 y& S3 x% n
    ceph-deploy 工具会把密钥环复制到 /etc/ceph 目录，要确保此密钥环文件有读权限! M: @* T0 x7 T  n3 j( |1 G7 @! y$ i7 D3 s
    (如 chmod +r /etc/ceph/ceph.client.admin.keyring)。4 @6 E* ~/ Y- X3 b" o4 x+ p

. Q. L( T7 ?# R% G: Z      注意:以上在ceph-mon1机器上操作.  
! ]/ D7 B8 T& Q
3 @7 Y% q9 K  Q* Q) }7 c3 H! V8 C5 g  X5.创建具体的image
3 C* n6 h3 i( h, k% ~% Z9 V/ K4 X6 P7 t! m( J3 Y* H3 w
   在 ceph-rac1 节点上创建一个块设备 image 。1 F: |$ p) m" E, X+ t- [
   
4 g+ [& l. l6 E   --创建3个1G 的vote盘 Image
; t* K( {8 k9 p( V* ~   [root@ceph-oracle ceph]#- w  q/ H: ^3 E" q% x( L/ y* a
   rbd create votpool/img_vot1 --size 1G --image-format 2 --image-feature layering. C0 e+ W5 f, I2 H4 z/ K; C; ~
   rbd create votpool/img_vot2 --size 1G --image-format 2 --image-feature layering
+ i& `; i! B' W! n& x6 ?: i+ m0 g/ t9 m3 T
   rbd create votpool/img_vot3 --size 1G --image-format 2 --image-feature layering( ]. Z  W; v5 z! O, ?6 A' a6 ?
  E! h! I6 J) a- N3 u( G3 E$ t
   --创建5个2G 的数据文件盘 Image
% ^( z0 g  J2 F3 R9 E6 j7 S6 g1 j& Z2 p7 n( k& e9 T
   rbd create asmpool/img_asm1 --size 2G --image-format 2 --image-feature layering  h- ?" ?3 ~! B
   rbd create asmpool/img_asm2 --size 2G --image-format 2 --image-feature layering3 J0 {1 G, ]( H4 I$ }* ^
   rbd create asmpool/img_asm3 --size 2G --image-format 2 --image-feature layering# Y- e4 J: [) ?: c" i
   rbd create asmpool/img_asm4 --size 2G --image-format 2 --image-feature layering- Q5 N1 E3 H; y) s# @: O' r
   rbd create asmpool/img_asm5 --size 2G --image-format 2 --image-feature layering8 E0 v* e: T! F9 w. S: Z: l
, l4 m0 U- ^3 U, T  t
   --查看rbd池中的块设备
6 Z% O3 v, b, q- V- m2 m  [root@ceph-mon1 ceph-cluster]# rbd ls --pool votpool! c9 w. u' ^. `$ f) ?6 S7 I! }
  img_vot11 i9 a% r* C5 J7 O2 \: x
  img_vot2: ]) z4 x9 L! F, l
  img_vot3
/ b8 ]+ ]8 X3 L9 o) \! P
# i. ]7 F2 i; V; {' A: C* Z7 B   [root@ceph-mon1 ceph-cluster]# rbd ls --pool asmpool8 x& |0 m- H* b
   img_asm1) Y1 w$ ^( n) U) ~
   img_asm2
, D: I' b9 N$ K( c) t   img_asm3$ Q4 a( J% L2 J6 L0 S* O5 K! }8 z
   img_asm47 _5 T% m: }  U* e
   img_asm5% d: r$ L6 z4 @* f, [7 B& `4 K7 ?* y

" l. `1 I/ t# u# v- @) h  C+ _6.映射块设备% f  Q/ R* j# A8 n% ~
  这个必须在客户端节点上执行,比如ceph-rac1,ceph-rac2上执行.
! ^& P; N. t* c: a
" X' `" c1 z+ i4 [2 c9 S' I0 }   [root@ceph-rac1 ceph]#
2 j) z1 y) N7 K1 I  o( u, r+ M- ]. ~8 d( R
   rbd map votpool/img_vot1   
. n4 |/ @* E( z; y0 A# _2 H   rbd map votpool/img_vot2     J  D& c1 b) W( V
   rbd map votpool/img_vot3   : t9 L) z6 d$ E$ X+ A  ^* k3 A( C
   rbd map asmpool/img_asm1     
0 h" [' G: L( W; b7 a) f8 l- M   rbd map asmpool/img_asm2
5 n7 y- g) N, A0 B# m   rbd map asmpool/img_asm3
$ w, j* _% }7 T* A) R# F3 G; S   rbd map asmpool/img_asm4
2 p& w$ h9 t- {; T# {   rbd map asmpool/img_asm5
5 i; @1 l# ~& w
3 k% y% x( ?0 r) d9 L4 T! `   这个时候,我们通过lsblk上,可以看到新的块设备了:" U3 |; s$ }# Q& ?6 ]2 D! M
   [root@ceph-rac1 ~]# lsblk
$ M" A1 I+ z1 {3 Z2 c   NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
- O* g2 L! q; Y$ ^   sda               8:0    0  100G  0 disk
- E& v6 E, x+ h& t( q7 ?   ├─sda1            8:1    0    1G  0 part /boot
, z" |& {# j" O, L3 R   └─sda2            8:2    0   99G  0 part) y$ w" e* U# w( v2 f* A4 L, b( x
     ├─centos-root 253:0    0   50G  0 lvm  /" o" C- Q' ?1 G$ [6 k
     ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
: |/ J, ]& k; J* p  j1 {9 ?! [     └─centos-home 253:2    0   47G  0 lvm  /home
8 H( G* y. H& d" ]3 U/ U1 z6 h6 X$ W4 V7 Q& X! C
   rbd0            252:0    0    1G  0 disk
, Z2 x; U* r0 F6 F* q& x   rbd1            252:16   0    1G  0 disk
7 c' W( }) N1 q0 Z   rbd2            252:32   0    1G  0 disk
8 m& s4 Q" K) c3 P) R   rbd3            252:48   0    2G  0 disk
$ u( F# P/ Q' T6 m   rbd4            252:64   0    2G  0 disk
  V0 L$ ^( {$ k# R! |   rbd5            252:80   0    2G  0 disk
  M: s: I+ a! [4 n7 ]( n$ J1 C   rbd6            252:96   0    2G  0 disk5 R" ?3 G* y9 m# P# [  t" X5 c
   rbd7            252:112  0    2G  0 disk   
, Y  t% Z% p- r3 q8 N& U6 f+ \: o# [, r: y3 f5 f
  --要查看这个对应关系:8 Z6 V$ Y3 s6 k. G: p1 a
  i, P# Y$ K' E) z( F+ O: K  G- }
  [root@ceph-oracle ~]# rbd showmapped
( t7 F. i: K) I: C  id pool    image    snap device   2 v6 ]$ I5 n. r4 y6 D
  0  votpool img_vot1 -    /dev/rbd0
2 H; u9 |& B8 s5 t& D! ]" }  ]; M  1  votpool img_vot2 -    /dev/rbd15 x7 `: W9 t; [4 K$ @  N
  2  votpool img_vot3 -    /dev/rbd2
5 {0 R! f5 j+ ~4 W0 I  3  asmpool img_asm1 -    /dev/rbd39 i: i9 x0 S1 ?0 T; w
  4  asmpool img_asm2 -    /dev/rbd4
7 a6 v3 Z% I& s1 n9 s  5  asmpool img_asm3 -    /dev/rbd5! l% J# f3 j& b! I3 d
  6  asmpool img_asm4 -    /dev/rbd6
5 R3 \0 p& y- q0 y: c- X) j  7  asmpool img_asm5 -    /dev/rbd7
$ b2 x0 P6 U/ w& g# T/ R  r. r( g! l9 f
7.修改权限7 m3 E; k8 f- h: u5 j7 I8 g
  这个块设备,每次重起,权限都会变回root:root
1 ^" U$ k+ z; w5 x  而且,这个对照也必须手工重起映射." r- v) S: ^2 w# S( \0 V* K9 F$ Z
  因此,我们可以在 /etc/rc.local中,对应权限和映射,都写在里面0 ]* v7 w  \4 Q$ T" V% Q  N

9 G4 G8 g& |6 Q7 K% l  [root@ceph-rac1 ~]# cat /etc/rc.local
9 T0 ?. Y+ I- P7 _) v#!/bin/bash  }; o4 @  c' C3 J  }
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
, l5 w, B4 I2 @6 _#
/ V( i1 w9 {. @" U- m0 x+ g# It is highly advisable to create own systemd services or udev rules
0 m" m& _5 T1 ?1 @! x* W( C* }# to run scripts during boot instead of using this file.! g; x4 _: D4 K2 v* D
#$ n; s4 S4 U1 I. ~! @+ r& T
# In contrast to previous versions due to parallel execution during boot3 y* i) z) J0 O- w( V( s
# this script will NOT be run after all other services.
. v& E: u+ y. W& B#$ ]4 S6 \) o/ E/ p/ y
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
* w7 l; ]6 @( f! N1 c" z! _# that this script will be executed during boot.+ S0 m( Y9 l! \) T
touch /var/lock/subsys/local9 w! J* x; b/ V# r5 V% _
rbd map votpool/img_vot1   / l7 f. e5 c9 U5 `# \- J; m
rbd map votpool/img_vot2   . N9 T* b0 g2 |! ^
rbd map votpool/img_vot3   
8 M! T. ]" E0 Arbd map asmpool/img_asm1     
* v! ~1 c" h5 Q4 x# T) Urbd map asmpool/img_asm2
+ ~0 g+ Q5 q. `% Srbd map asmpool/img_asm3
( U+ d5 b1 d" X4 u. F: r8 krbd map asmpool/img_asm45 f1 ~6 a8 m: V' }! Z
rbd map asmpool/img_asm5
' g  R( F2 X7 c: f, Gchown oracle:dba /dev/rbd*
! E9 L. u6 N0 t+ k; ^chmod 660 /dev/rbd*7 x- w8 ^* R5 z0 s4 l; p
9 ]" b1 P- ]9 X7 `+ J) r

  C- u+ H* m; K( E编辑完后,执行以下语句,否则,系统重起,不会执行/etc/rc.local
' U3 [. @3 u$ Y" R% ichmod +x /etc/rc.d/rc.local& i- W& y, i. i3 T# W$ k- ~: `
% _  Q! M$ [3 C. p0 B
之后,每次启动后,映射和权限对应都会自动修改.  U+ s4 g- h5 ~3 D3 w$ Q3 S3 B$ s

7 U9 J7 U. O- l1 Y8.安装rac$ Y+ y2 A- I' P# {& t
  具体安装步骤略6 @: ]3 k+ l8 d
  安装过程和普通的rac安装没有任何差别.& Z- l& l: r; r* T' P7 l

% d) A8 |  p0 g4 u. m  磁盘的对应关系:
$ `3 H2 g, X7 {7 J  /dev/rbd0    dgocr$ K6 t) u6 q3 F9 s/ e& a0 Q; ~( R& ?. v
  /dev/rbd1    dgocr6 m6 V. W% v  j, |4 c/ ], v) x
  /dev/rbd2    dgocr
7 F9 K7 q2 _5 M! j% n9 k
' B, A( H; y3 a1 Q) l) k! b  K  /dev/rbd3    dgdata
$ y9 t8 ?* K+ c* k) N6 o  Q  /dev/rbd4    dgdata+ {; A' ?# X( T7 t1 m: d9 a
  /dev/rbd5    dgdata/ k/ u( K; Y5 o/ D% ^9 Q, g4 v4 b
  /dev/rbd6    dgdata
7 Y3 P$ W9 T, Q  /dev/rbd7    dgdata
+ m2 f- ]  l! P) j: @, j* {7 p
# |4 W) ~7 i& E9.安装完成:" p, g. E. `" h0 J8 }
    1* select name,path,os_mb from v$asm_disk
# {' I. J1 L3 WNAME                           PATH                                OS_MB
, L3 s0 f/ }. L. Q7 S" X------------------------------ ------------------------------ ----------
4 {) }7 u2 F, d5 d+ |DGDATA_0004                    /dev/rbd7                            2048# s/ e4 W5 C2 |
DGDATA_0003                    /dev/rbd6                            2048
( Z2 C* U  g' A6 c2 jDGDATA_0002                    /dev/rbd5                            20488 v4 ~( [( Z/ C8 g# H, ]0 }
DGDATA_0001                    /dev/rbd4                            2048" z" F3 s! H+ X5 p; b+ U& `* e) c0 x
DGDATA_0000                    /dev/rbd3                            2048! C7 C( f  z9 b
DGOCR_0002                     /dev/rbd2                            1024+ }. c5 D5 y0 k8 D3 {
DGOCR_0001                     /dev/rbd1                            1024
% O0 r# y" A# D* j4 n7 a, UDGOCR_0000                     /dev/rbd0                            1024+ i) F' m, ~2 G9 I  _+ a
6 j: V  v2 b; t: X2 J2 `, o' K
资源状态:# E' _. t6 }( `6 \6 w. q( O- c8 b
[oracle@ceph-rac1 ~]$ crsctl stat res -t7 X, m/ q- a- u9 n& {; p
--------------------------------------------------------------------------------
4 a; Q) E7 m8 B. sNAME           TARGET  STATE        SERVER                   STATE_DETAILS      
* Y" C5 J: Q: D2 S& _9 _--------------------------------------------------------------------------------/ s/ `' W7 A2 h" q+ H2 }$ W% F& w
Local Resources, h( p* P, B2 z
--------------------------------------------------------------------------------
: g( y/ N" c9 U2 ^ora.DGDATA.dg
/ B! e9 g) H0 Z4 q* h( Q& o               ONLINE  ONLINE       ceph-rac1                                    , e( Y. B9 D" ]- |( V
               ONLINE  ONLINE       ceph-rac2                                    1 F" H" v+ {$ T; O& h, v: g
ora.DGOCR.dg  _! G2 I* Z! N- z
               ONLINE  ONLINE       ceph-rac1                                    ' |- u) @  \2 S+ q8 G( Q
               ONLINE  ONLINE       ceph-rac2                                    
, T. Q8 _3 e' I' _1 O* x1 e, U6 Nora.LISTENER.lsnr
( l# Y) m2 r: q, a( F$ @               ONLINE  ONLINE       ceph-rac1                                    1 |+ h4 X# o  F# ?+ P% {
               ONLINE  ONLINE       ceph-rac2                                    ) Q* x9 [( s' ?, d4 E, d2 Q/ v
ora.asm; k6 ?& R. |+ s
               ONLINE  ONLINE       ceph-rac1                Started            $ N  w6 S( Q4 k' S. h# G: J/ K
               ONLINE  ONLINE       ceph-rac2                Started            3 h4 y1 A- k" d
ora.gsd
$ B* N8 S% [+ x0 T5 m/ `               OFFLINE OFFLINE      ceph-rac1                                    $ X/ t- A1 w4 A7 L2 T. e* h
               OFFLINE OFFLINE      ceph-rac2                                    7 M, m5 T  A/ k) C2 B; L
ora.net1.network4 H& g8 Q7 L. T/ G  q" p) x( d
               ONLINE  ONLINE       ceph-rac1                                    
7 B  k+ p- K6 v( t0 X2 ~  `( c               ONLINE  ONLINE       ceph-rac2                                    3 i# i" B' {& D- p: m8 J
ora.ons
8 W  n% [# {8 E               ONLINE  ONLINE       ceph-rac1                                    6 ~# n9 H9 w- p8 D0 t! L
               ONLINE  ONLINE       ceph-rac2                                    
% s8 L# ]0 l/ ~--------------------------------------------------------------------------------
' a7 }6 q( V* k0 x6 wCluster Resources
7 C" J8 g* V/ p6 N" j# L; h$ [% }; _--------------------------------------------------------------------------------) d* `7 E4 I$ v3 E
ora.LISTENER_SCAN1.lsnr; Q$ c. G3 k; Q8 P
      1        ONLINE  ONLINE       ceph-rac1                                    
' _" V6 ~; o% c7 T& Iora.ceph-rac1.vip
+ e1 K% y( n# R2 P4 \' G      1        ONLINE  ONLINE       ceph-rac1                                    ) M; o0 }# F8 z* p& V' t
ora.ceph-rac2.vip9 g  x/ h6 ?. j  M! |5 S
      1        ONLINE  ONLINE       ceph-rac2                                    & M& Q/ `6 j) E/ X" ?+ F: G
ora.cvu
; P  P# j0 h7 O4 f      1        ONLINE  ONLINE       ceph-rac1                                    
( G7 h; v# g% pora.oc4j
4 `% V# F3 L7 v, K. w7 j; `      1        ONLINE  ONLINE       ceph-rac1                                    6 H" _# I1 [9 i) e
ora.scan1.vip
. v0 d: [& k' n0 K      1        ONLINE  ONLINE       ceph-rac1                                    
9 Z6 P4 s' d& Lora.sztech.db
; ^# g" I2 M7 f0 W6 o7 x+ V      1        ONLINE  ONLINE       ceph-rac1                Open               ' }3 L1 p2 v) m
      2        ONLINE  ONLINE       ceph-rac2                Open
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 22:58 , Processed in 0.035681 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表