浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph+centos 7+oracle 11g rac安装流程ceph分布式与rac ...
返回列表 发新帖
查看: 3490|回复: 1

ceph+centos 7+oracle 11g rac安装流程ceph分布式与rac集群使用方式

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2021-7-1 11:13:00 | 显示全部楼层 |阅读模式
1.环境: f# e! Y- y) p8 C8 L/ _
  版本:
2 J. t% A+ P, K" Y" n  centos 7.9& w1 S( ?5 ~3 y9 [# P) z* c
  ceph 14.2.8
( D( `2 }6 {" e  oracle 11.2.0.3
0 T4 J+ _  D( G8 s7 G! e
0 `3 H/ @: v+ ?# v& L4 c  机器构成:* N. }% c8 P" x" e% L
   ceph 集群的构成:
9 O" A2 G' e2 K) Y% T( U( n- p   ceph-mon1 管理节点和监控节点    192.168.13.70
1 ~* w0 j- _/ i   ceph-osd1  存储节点                    192.168.13.71   & \) W2 x: ]* `
   ceph-osd2  存储节点                    192.168.13.72   
7 x$ O/ d' l5 w0 q   ceph-osd3  存储节点                    192.168.13.73   7 ]1 Z1 m: @  b8 W  U  ^

& t6 |: X" b" m  规划的每台机器贡献出来的存储空间
. D" S: L3 Z8 W% k6 w. d  ceph-osd1   50g( S/ g4 R# C# t! U; e9 c$ }9 H0 n+ _
  ceph-osd2   50g. ^; h2 q- V" x5 c' m$ f
  ceph-osd3   50g
. x% A% x3 f9 `( R7 k6 R6 Q9 e* R
6 A; T6 J) A& M9 k. `& q  我这里是测试,正常规划,应该大小上接近,因为默认池的副本为3.
( q& j6 u; D3 R" K+ r
, C" |) d9 i" M) ^, P$ N. F   数据库环境:3 o$ o: U5 h! M8 ^+ G
   ceph-rac1  数据库节点                 192.168.13.75
) U, d. P- X" ~/ g8 }: U   ceph-rac2  数据库节点                 192.168.13.76# y4 g, b  l4 }% ^7 M+ N

3 M" q, O5 e8 m$ H   rac ip
3 v# r) _; |, l' a- t% F7 U' W8 `   192.168.13.75 ceph-rac1   $ O$ b) R. W4 n1 X' X
   192.168.13.76 ceph-rac2   . I9 B5 v" q# k5 x8 a

5 {& ^4 ]* _, U# i   192.168.13.77 ceph-rac1-vip
9 P6 R& ?- J4 l2 x" b' T/ d   192.168.13.78 ceph-rac2-vip0 ?6 U. \4 u8 M( B9 E$ E
7 ^6 C5 N, o$ J
   192.168.13.79 ceph-scanip
8 I6 Z# g( ?: ]& o; w3 a9 d2.安装ceph 集群. J+ X2 Y+ t% u9 c8 |9 M- R
  在 ceph-mon1,ceph-osd1 ,ceph-osd2,ceph-osd3上安装ceph集群) e5 k1 S6 [5 J. N6 `# n
   具体安装见另外的帖子., s' d$ K2 ]& z8 |/ s! \8 q
4 W( W" |+ S+ z6 H& R) E$ F9 ?
3.规划磁盘' Q0 O  ~6 n3 ^* Q3 ?
' x/ Q! C% k5 t# h* B
  规划的每台机器贡献出来的存储空间
9 L* P; N, b& A0 l7 k  ceph-osd1   20g   分区 /dev/sdb
) O6 ?% H7 a7 e9 v. J9 \. w9 |3 M* I  ceph-osd2   30g   分区 /dev/sdb
6 V$ G7 X& I6 t+ o! t1 e  ceph-osd3   40g   分区 /dev/sdb2 X" l( ]) e6 Z- p
  3.1 列出每个节点上的磁盘
1 U" ]7 O7 v6 M  O. R   
% Q( P2 W- U8 w+ J$ A- J" l  查看一下 Ceph 存储节点的硬盘情况：6 p7 u3 A. ^/ P/ g: s+ ^0 S/ q
  # ceph-deploy disk list ceph-osd1
7 ?) C* ^6 i4 H$ D( l  # ceph-deploy disk list ceph-osd2; X9 P) Y' ^$ o- \7 {
  # ceph-deploy disk list ceph-osd3
8 U* `* Q6 I" ~0 E
; V/ }+ j8 b: w) `* K2 [  3.2 擦出盘所有数据, @0 ^/ v; \- D" A/ G1 ~; j) ?0 d
  #ceph-deploy disk zap ceph-osd1 /dev/sdb# L9 U- s7 h4 }; `) k8 ^
   ceph-deploy disk zap ceph-osd2 /dev/sdb
' h* u6 T' O# d$ c4 K+ Z1 T   ceph-deploy disk zap ceph-osd3 /dev/sdb
, b* y9 ?' L! p& K% l. x
, V1 H) D( }4 X: h3 l: z5 W- a  l5 Q2 e" z9 f6 [
  3.3开始创建osd# c( X# r6 L  S
# k) ^; \5 Q+ `* ]3 Q3 m1 W, o* }
ceph-deploy osd create  ceph-osd1  --data /dev/sdb
ceph-deploy osd create  ceph-osd2 --data /dev/sdb* B* d" u) @% X- G
ceph-deploy osd create  ceph-osd3  --data /dev/sdb3 S5 h2 ]& Y0 G2 l! ~
$ z" A( k7 [, e$ A& {2 T1 T
3.4查看pool池：
1 f! _; S$ t' M6 z# z- a; [ ceph osd pool ls9 j9 e6 r- _% t5 B. m
images+ e2 z* u4 G& T0 T/ Q
rbd: z9 Q9 o3 R# @. |4 H
9 I- c* `* C3 q$ i/ r
  默认有一个池 ,rbd
* y# v& D# ?  [! D' J9 ]9 j  l* H' s
  3.5 创建新的池' I; _# T6 C1 q  K
   3.5.1 删除原来的池- ~6 W$ I* \2 l
   rados rmpool rbd rbd --yes-i-really-really-mean-it
4 e( w- D+ @3 h1 A   3.5.2 新增加池
, }( f- t0 E3 }% H    这里的池,就有点像我们lvm中的卷组
, ?7 i6 J3 I) u8 Z    考虑到我们要安装rac,因此,把vote,ocr盘 ,与数据盘分开,因此,我们建立两个池.
; w( `! O6 l* w8 Z2 ^( u7 v) f5 E3 S. C& `' ?; p' e! v2 V' Q- y
    ceph osd pool create votpool 1283 J0 z' O1 Q& b* L
    ceph osd pool create asmpool 128
, g2 X: O! f& b, _; o4 h7 @6 t4 K% ?7 S+ y# O& j  D( R& q
    注意:以上在ceph-mon1机器上操作.
, p* S0 \, }3 P6 {( Q# A
+ L7 b: S0 U2 y, c4 ]8 R7 ]4. rac节点安装ceph 软件. g4 T/ I* \& }- c% p! {6 M% Z
   在ceph-rac1,ceph-rac2上安装ceph软件,让他们可以使用ceph存储% a- x; K4 D* t1 M9 V
! {$ f0 H/ A  h3 N6 g
   具体安装安装简略如下:
) g/ I! }7 p9 h   4.1 安装clenit软件' H! V; g* V  B, m1 D4 d
    yum install ceph ceph-radosgw rdate -y, H2 N: Y# }3 u* l! o
. W& }: [/ V& U! ?
    注:这个操作在ceph-rac1,ceph-rac2上操作: q+ A" J" _2 G

: w  g" i; I* r( Q   4.2 把配置文件和密钥拷贝到client节点ceph-rac1,ceph-rac2
$ Y1 w$ f2 E4 W# L& k( V    [root@ceph-mon1 ~]# cd /root/ceph-cluster/6 L5 {4 y& [3 n, P1 c* O
    [root@ceph-mon1 ceph-cluster]# ll
' t3 Z; S( {) I" l- u    total 220
1 e: ]! y# n, v0 a: Y    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-mds.keyring! t7 f- N$ l  |
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-osd.keyring# o" f8 A, w+ N  J8 C6 [/ f
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-rgw.keyring
' C% w5 d/ P0 i& o    -rw------- 1 root root 129 Oct 26 04:21 ceph.client.admin.keyring! E3 u7 G5 g4 E+ h. u% a
    -rw-r--r-- 1 root root 258 Oct 26 04:20 ceph.conf9 g" r, |! B% v3 U
    -rw-r--r-- 1 root root 200577 Oct 27 07:21 ceph-deploy-ceph.log- @- j1 c) c( J9 R- L7 A; D6 y
    -rw------- 1 root root 73 Oct 26 04:16 ceph.mon.keyring
, t) h7 d8 n9 I6 I    看到有很多密钥，mds,osd,rgw,client密钥，需要拷贝的就是ceph.client.admin.keyring和 ceph.conf
: E( }4 }: I! ^# G5 I: d4 N% x    可以用ceph-deploy工具拷贝
3 Y, n* f1 P, t; V$ i   
* p! ?1 Y( o; E# ]# `. O- r    [root@ceph-mon1 ceph-cluster]# ceph-deploy admin ceph-rac1 ceph-rac2
$ G& N: Q$ V6 X0 _3 }# Y$ H) c# F3 n0 s& A  c5 ^$ _- P  ?# ^5 E
    ceph-deploy 工具会把密钥环复制到 /etc/ceph 目录，要确保此密钥环文件有读权限- w- t7 m$ A' u7 e4 H2 V
    (如 chmod +r /etc/ceph/ceph.client.admin.keyring)。# p4 C3 t' \, F

0 V5 s3 i9 I% \2 u      注意:以上在ceph-mon1机器上操作.    g0 |1 J- o, L* d  j- x
5 t+ X1 i9 i* u9 J/ T+ s$ W( W
5.创建具体的image
2 ?/ h7 ]( \8 e" Y; ?' y! k1 Q* y1 H' D& Y2 r1 R
   在 ceph-rac1 节点上创建一个块设备 image 。/ d( M2 m9 j8 U. H* a2 \
   0 d8 Y& Q3 s3 y6 Z* `6 |
   --创建3个1G 的vote盘 Image
% L; X( R' A  `' [% s. O6 L/ W8 Z   [root@ceph-oracle ceph]#7 R0 J: X  L# v6 I4 D/ Y
   rbd create votpool/img_vot1 --size 1G --image-format 2 --image-feature layering' ]4 O+ }  R4 R' K: U! C
   rbd create votpool/img_vot2 --size 1G --image-format 2 --image-feature layering" l! c6 W0 v) U# S# l7 R

8 ?' v$ [$ f0 ~6 ?+ M/ p& s. `   rbd create votpool/img_vot3 --size 1G --image-format 2 --image-feature layering+ F" f- j, g  G+ q, ], f

' Q- }0 k' c  e0 C$ F   --创建5个2G 的数据文件盘 Image: s! `) Z9 }2 q! ^% `
  g! z. N: j( R) W
   rbd create asmpool/img_asm1 --size 2G --image-format 2 --image-feature layering) P& |& |; @; y+ p, O1 r
   rbd create asmpool/img_asm2 --size 2G --image-format 2 --image-feature layering
, z9 J2 y" k$ i* s9 D+ ?6 H* k2 D   rbd create asmpool/img_asm3 --size 2G --image-format 2 --image-feature layering
4 O8 N: L- S: F  ^( t0 _   rbd create asmpool/img_asm4 --size 2G --image-format 2 --image-feature layering3 V2 D* i0 c9 X7 ?! h) x
   rbd create asmpool/img_asm5 --size 2G --image-format 2 --image-feature layering; Y# ~1 O9 z, y  ]5 T' ]

$ ?, N+ Y, [" `   --查看rbd池中的块设备
0 P0 k* \0 F3 k. m; A  [root@ceph-mon1 ceph-cluster]# rbd ls --pool votpool
7 a6 l: Z) |, j7 q6 c  img_vot1
: m# c2 T9 w, I  img_vot2" R7 f6 j1 f+ H7 ^( \9 U
  img_vot3
& r& P$ X; ]" R1 z( m' C! K6 l# w) ~2 |) l
   [root@ceph-mon1 ceph-cluster]# rbd ls --pool asmpool. C3 @2 l+ y1 U# j  t
   img_asm1
3 H. U4 `' q& P- ?: p   img_asm2
/ M6 H  M" M9 r  I8 {   img_asm3
) h2 |' E% G4 m; k% y  i   img_asm4. f! i( W1 z& f% H
   img_asm5
6 \7 F3 W5 e# |$ F+ j0 }$ ?7 p' V, ^
6.映射块设备
, c! D1 [5 s4 C/ v0 x% v4 o) q& U& X  这个必须在客户端节点上执行,比如ceph-rac1,ceph-rac2上执行.# I7 g  ^0 N6 }- }* u! F( X6 |

, x% I% I2 i) N+ |0 F   [root@ceph-rac1 ceph]#4 P$ J- m6 E* ]; n7 W. {

9 H" [6 X) d" F" v3 d9 y   rbd map votpool/img_vot1   
8 n. N- g5 b' o" S   rbd map votpool/img_vot2   : z* |) S) y! h& R! S3 p7 s( A
   rbd map votpool/img_vot3     m, R. _0 f1 L* ]2 w' r
   rbd map asmpool/img_asm1     
0 N3 x2 J! |* c) l0 ?, }   rbd map asmpool/img_asm2  t! _. K- `" M
   rbd map asmpool/img_asm3
* y, P  l* A  |   rbd map asmpool/img_asm4
2 B' U8 ?4 |6 a6 C7 x, M   rbd map asmpool/img_asm5/ _& {/ @% E/ x! w8 k+ @

  |: t. g: ]; E, J- _) P   这个时候,我们通过lsblk上,可以看到新的块设备了:
; z" g2 d2 R* p% H  |. z   [root@ceph-rac1 ~]# lsblk& b3 a! M% o# c+ X$ I6 T
   NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT2 f$ ~  x0 m9 [4 [
   sda               8:0    0  100G  0 disk
: g! K# L9 e# e, R- R$ G9 Q   ├─sda1            8:1    0    1G  0 part /boot
! J, U. K5 m' ~: b6 B5 @   └─sda2            8:2    0   99G  0 part2 y( \: N* p: V* R
     ├─centos-root 253:0    0   50G  0 lvm  /
  b+ ?1 Y3 ?' n0 k2 X+ S& G) p+ {8 V. C     ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]0 Z0 p9 b/ |0 U6 w9 p
     └─centos-home 253:2    0   47G  0 lvm  /home
- H+ S9 t# C) b% j0 d' S1 u  u( B0 K/ ^) h* j! e
   rbd0            252:0    0    1G  0 disk
5 s8 @4 e, [" E8 q" }' }6 X0 d   rbd1            252:16   0    1G  0 disk
# q, T, L0 i( A   rbd2            252:32   0    1G  0 disk
: `  g2 q- ~* ]0 p6 K! ]   rbd3            252:48   0    2G  0 disk
/ N1 w1 r0 a' m   rbd4            252:64   0    2G  0 disk
5 k6 Q/ i2 w! h2 a! Y: @   rbd5            252:80   0    2G  0 disk
, r! b+ n& k% ]5 V- ~   rbd6            252:96   0    2G  0 disk
9 k2 k: o% [+ d. N   rbd7            252:112  0    2G  0 disk   7 K/ v& C. ~+ g! Z4 g9 l
4 P, Y$ M0 X6 R+ R) H! x% V
  --要查看这个对应关系:, P, G. A3 g; C2 }2 G; z
/ L  h- {$ u8 C/ u& |% i- B' ]
  [root@ceph-oracle ~]# rbd showmapped
1 y6 n. `& e1 P  id pool    image    snap device   7 _5 t) Y! n4 {: C$ H' o
  0  votpool img_vot1 -    /dev/rbd03 q& o  F1 \. p7 x' p1 y
  1  votpool img_vot2 -    /dev/rbd11 ]4 X; [0 F& y& k9 m. ~
  2  votpool img_vot3 -    /dev/rbd26 I0 b9 A- l5 t& ?& u2 I) y$ Q
  3  asmpool img_asm1 -    /dev/rbd36 K% |- D1 H2 B; h$ `3 m' C
  4  asmpool img_asm2 -    /dev/rbd4. f6 v" v! x5 }* ?6 q/ A
  5  asmpool img_asm3 -    /dev/rbd5
) a5 v4 [5 R; ^) _6 M, O  6  asmpool img_asm4 -    /dev/rbd6
- w$ ^( `- M- |, H3 n  7  asmpool img_asm5 -    /dev/rbd7$ K( k. [) r+ |) @0 h

, @; M# w1 G  B" P9 o7.修改权限
+ F+ y' U0 I6 P0 }: h2 F5 e  这个块设备,每次重起,权限都会变回root:root! ?8 ]7 D$ ~5 u3 A( ~* `
  而且,这个对照也必须手工重起映射.
5 h% H" e& p! O9 B/ }% i: S  因此,我们可以在 /etc/rc.local中,对应权限和映射,都写在里面6 ]& k( f' h( x3 q5 k

4 R) \+ ], g! N9 P( ]9 }% y: u  [root@ceph-rac1 ~]# cat /etc/rc.local" D- `/ s: \$ \6 B
#!/bin/bash
3 f. ^0 K& I, d+ `# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
( W# t. a9 k  a5 U: H#
. J% O" D/ i3 ^) v0 a: C. g# It is highly advisable to create own systemd services or udev rules2 K! J6 J" _2 n9 |0 i' V1 [+ |
# to run scripts during boot instead of using this file.8 A7 a* M8 f) ]% O% _$ D
#. j5 q% c$ r/ B2 E
# In contrast to previous versions due to parallel execution during boot/ M' O4 i0 X2 C- w1 K8 L
# this script will NOT be run after all other services.
: @+ ]% |1 d( F" a+ l( `#' @8 H# Q- P1 d1 w* C# W
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
8 V6 ^0 M# n5 }7 r& B4 A: S# that this script will be executed during boot.
8 e+ p4 Q* d* m# _9 vtouch /var/lock/subsys/local$ E- F" B0 O# e  @6 L
rbd map votpool/img_vot1   + F2 Q5 G4 `7 d
rbd map votpool/img_vot2   ( ^! o5 _# z. {7 {% b
rbd map votpool/img_vot3   " m" F( o4 b* b" i2 a7 S9 J9 Y
rbd map asmpool/img_asm1     
: V: s* H6 ~4 Hrbd map asmpool/img_asm2
6 M8 w: |* c/ Q  Urbd map asmpool/img_asm3
  G0 ^* F( o/ `# ~6 {rbd map asmpool/img_asm4( S; i# B' v3 q8 J7 I
rbd map asmpool/img_asm5
: G9 `! D% k  _& A. h+ G7 Zchown oracle:dba /dev/rbd*) |/ R3 T/ D8 a  V" p; k6 b
chmod 660 /dev/rbd*
! V$ {) W# b" d- }4 S) `$ g( g% N+ g

/ G' k3 h! ?$ M) }& I编辑完后,执行以下语句,否则,系统重起,不会执行/etc/rc.local1 E$ A* }- I# y, V* b) J
chmod +x /etc/rc.d/rc.local  d  C& E) h7 B3 m
) h7 n& \+ f2 o# W- d/ l6 v
之后,每次启动后,映射和权限对应都会自动修改.
* M- Z& ~% m- X  @6 D) Z
. Z& \. W4 E8 V2 O8.安装rac
2 |5 h$ U  f. e. T2 r  具体安装步骤略
1 N& N6 p. u' ^8 r' d) ^! z# ~  安装过程和普通的rac安装没有任何差别.3 X! ?- _  T; h. }3 d: t

' V1 V+ ^. X! z3 i0 j% f  磁盘的对应关系:3 i& j/ F! J: u1 t0 Z0 E; w3 M
  /dev/rbd0    dgocr
+ {) r. p! Y8 W5 `  /dev/rbd1    dgocr  o( W. m+ G7 J2 M6 a
  /dev/rbd2    dgocr$ l- _! r8 O+ ]
) i% B3 i& n# Z
  /dev/rbd3    dgdata
) |- ?/ Q) U' c- T% [/ s# @  /dev/rbd4    dgdata
0 K# a- Z9 _/ n! E  /dev/rbd5    dgdata1 p9 v, J# e$ j5 R7 K, {# N/ Z
  /dev/rbd6    dgdata+ \" ~' d8 G1 r; m  s- E( h) `$ d
  /dev/rbd7    dgdata0 y% U4 N$ O/ i
4 n% R1 U5 B* \
9.安装完成:$ ]+ w4 D) H  K8 C2 R( T
    1* select name,path,os_mb from v$asm_disk
; u  C5 |' n) x0 sNAME                           PATH                                OS_MB4 x) S  }& S: f6 u# u) Z
------------------------------ ------------------------------ ----------
+ ?5 J5 z; ]3 K  C# j' P* m" \DGDATA_0004                    /dev/rbd7                            20488 M8 O6 ~# S. w4 I
DGDATA_0003                    /dev/rbd6                            2048* B. b1 U) t. m* u+ h
DGDATA_0002                    /dev/rbd5                            2048* ^3 I! z  {; ~* N2 z1 R6 z, _
DGDATA_0001                    /dev/rbd4                            2048
0 s8 ~7 t, [; y7 F+ JDGDATA_0000                    /dev/rbd3                            20482 _9 l3 Y  G$ K: n" F8 N" Y' ]
DGOCR_0002                     /dev/rbd2                            1024
1 t5 t* t+ F/ {: e- vDGOCR_0001                     /dev/rbd1                            1024! P1 i% L+ q2 Q5 i5 A$ S/ }
DGOCR_0000                     /dev/rbd0                            1024# y: ~6 |$ ]# O! h  r& I0 K

0 d4 ^9 C4 }& \3 o1 q# e资源状态:
2 l( |7 Z0 ~+ P$ w; D: J' a0 U[oracle@ceph-rac1 ~]$ crsctl stat res -t
+ u9 `3 P* _& l* u9 I' [( T4 i--------------------------------------------------------------------------------8 U9 T1 m% g4 `5 V) Y0 o
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
' H8 G1 y  K4 J0 B; M0 W4 c--------------------------------------------------------------------------------( B3 v5 t7 l3 l; N- d4 o
Local Resources
' O; Y: e; B# d5 V9 C--------------------------------------------------------------------------------. z$ N* ]; N+ y( N! p: e
ora.DGDATA.dg% l( d, [5 I8 J, z5 N# E' X& p
               ONLINE  ONLINE       ceph-rac1                                    # x% \% S6 k! P8 f
               ONLINE  ONLINE       ceph-rac2                                    
8 O% ~8 V8 _/ l6 {* S- aora.DGOCR.dg- I" p' b. @1 G8 \9 U: l1 R% }5 L3 S$ f1 \
               ONLINE  ONLINE       ceph-rac1                                    ! f( C9 L! z/ F6 ^0 x  h- R
               ONLINE  ONLINE       ceph-rac2                                    ) F) p, O$ e) i% ^1 I2 g
ora.LISTENER.lsnr
0 ?4 O, n. f' u/ j3 w               ONLINE  ONLINE       ceph-rac1                                    
) C* D6 o1 [) q* `! \$ [               ONLINE  ONLINE       ceph-rac2                                    
3 O$ a, y0 T; \/ ~' gora.asm$ R. |$ `) j# s
               ONLINE  ONLINE       ceph-rac1                Started            
9 R/ g2 `) N: W1 J# v! R3 ~               ONLINE  ONLINE       ceph-rac2                Started            
1 R! j1 t; q7 I: @" a4 V, H3 n8 Yora.gsd
( m4 ?6 x1 s# j5 b3 @) }9 c# I               OFFLINE OFFLINE      ceph-rac1                                    2 K  V' o. c4 g% W6 z
               OFFLINE OFFLINE      ceph-rac2                                    * ~; c4 M: L9 Y, m' q: C9 i. ]
ora.net1.network
* w- w) G& F& A1 K9 x8 M               ONLINE  ONLINE       ceph-rac1                                    
: r9 E( x/ A# v* g8 l               ONLINE  ONLINE       ceph-rac2                                    
* ^: F1 D2 w+ [  uora.ons/ ~! z% {4 w+ Q2 P
               ONLINE  ONLINE       ceph-rac1                                    
2 m* @4 ]9 C9 C3 D/ [               ONLINE  ONLINE       ceph-rac2                                    , Y0 q% z# S4 S5 {$ g
--------------------------------------------------------------------------------
. I( B. ~6 o. x3 Z- J7 K  ]" t) _Cluster Resources
' m2 k& u3 X; z$ Y--------------------------------------------------------------------------------9 |4 _: e* {% X8 j1 \% m& l0 N
ora.LISTENER_SCAN1.lsnr
8 I- J, l4 _+ x$ k0 G      1        ONLINE  ONLINE       ceph-rac1                                    
$ W, M9 M+ ~# m  X8 M) O+ W) ]. Hora.ceph-rac1.vip6 j- o6 M0 M! H) x
      1        ONLINE  ONLINE       ceph-rac1                                    
1 M6 R: D% `8 |# k# c# Tora.ceph-rac2.vip4 v6 N( ?0 I( @8 i( f
      1        ONLINE  ONLINE       ceph-rac2                                    
3 m/ ^% ?, O4 jora.cvu  m/ u% {6 \& A) l/ E
      1        ONLINE  ONLINE       ceph-rac1                                    1 L/ m. w) d3 t6 N0 s0 d* x3 U, i
ora.oc4j* \4 K. V& I% ?7 D; J
      1        ONLINE  ONLINE       ceph-rac1                                    & ~4 r: B# l- |( ^
ora.scan1.vip
0 A. X3 c0 t7 P! v0 V* O      1        ONLINE  ONLINE       ceph-rac1                                    & Z) L  F8 f$ W- V
ora.sztech.db* V9 Z1 P5 j) ]+ J, }( A" J$ r; y9 T, L
      1        ONLINE  ONLINE       ceph-rac1                Open               
" S( n/ u4 P4 z$ O: W/ D& H. o      2        ONLINE  ONLINE       ceph-rac2                Open5 i9 K6 d" ^/ p" e4 C
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2023-5-26 10:34:17 | 显示全部楼层
' c7 P3 m# C! H
1.环境( f0 B/ i) `: h5 ?& L& p1 M
  版本:, d1 W3 a) L( k/ P0 h
  centos 7.4
9 q. c6 g8 B* c" V1 p2 ]  ceph 10.2.9
% _6 {/ N( l( T  oracle 11.2.0.4
' w/ Y0 A) d6 i! ]; g1 L! f4 ^4 \# h- J$ M* B& H
  机器构成:
2 f( m3 i9 S- q/ d, a9 {; o   ceph 集群的构成:
$ B( l. l9 z" X; ?, D8 Q   ceph-mon1 管理节点和监控节点    192.168.0.170! J7 ?  U; y/ o; b! |" R
   ceph-osd1  存储节点                    192.168.0.171   
& g- o; B) i. d, l+ g, t0 r9 }6 U   ceph-osd2  存储节点                    192.168.0.172   3 Y5 H  o) M6 F& ]3 `
   ceph-osd3  存储节点                    192.168.0.173   
- a  C7 {% v& k9 i3 }3 k; s% _, j$ v+ r5 U# ^$ J3 \
  规划的每台机器贡献出来的存储空间9 p6 F, m% c" K% A4 M6 Z, w, ]
  ceph-osd1   20g) W& |; A: k9 x" c. V
  ceph-osd2   30g2 i$ k% m" R% x" O- L) Z, q
  ceph-osd3   40g( @3 C4 g: I. M: l
1 O/ |" ~& v; Q: @0 c6 I! F8 L
  我这里是测试,正常规划,应该大小上接近,因为默认池的副本为3.
6 ]7 \, @. g+ g9 p5 a6 [2 I" R4 W8 R5 S+ ~
   数据库环境:! E' d9 q3 ?. v8 Q; d: L. `" w( @2 |
   ceph-rac1  数据库节点                 192.168.0.175
3 y- L) k; A/ ~5 j* l   ceph-rac2  数据库节点                 192.168.0.176% N6 w, R  _6 ?  V3 S2 b/ ^

$ ?2 v2 \' Z" V' {+ f5 g; h( v5 S   rac ip
; f7 M; U& l% _) L: M/ S) N   192.168.0.175 ceph-rac1   8 X& C8 U+ U5 p5 m& r
   192.168.0.176 ceph-rac2   
( b/ z6 x& n8 L) F) o5 W: b2 \2 h+ f6 b
   192.168.0.177 ceph-rac1-vip
: Z8 O7 g0 s! J" W7 L- \; \" g   192.168.0.178 ceph-rac2-vip; l$ Z% [2 b) S, G
  n, \8 \+ r: ~
   192.168.0.179 ceph-scanip1 G% ~! h; r8 G3 X' i
2.安装ceph 集群+ w" c- K. U5 J# F- a" v
  在 ceph-mon1,ceph-osd1 ,ceph-osd2,ceph-osd3上安装ceph集群1 s) {% D& |& f
   具体安装见另外的帖子.- ]8 K1 O1 @* g  |+ U* b* U. ?- U

% z7 X8 e- y" h: ?1 T% b# v3.规划磁盘
  O, W) a4 b1 ?/ Y9 Z1 k$ m- S( j& H# d0 C, u( B( B+ E
  规划的每台机器贡献出来的存储空间
* h2 E" z# h+ a6 W  ceph-osd1   20g   分区 /dev/sdb0 C4 j6 y" T8 E1 v4 z# ]- Y
  ceph-osd2   30g   分区 /dev/sdb
7 v# T3 V5 V3 X3 }' Z( \  ceph-osd3   40g   分区 /dev/sdb
1 P3 k% r- g" G6 j  3.1 列出每个节点上的磁盘7 d  w* d, V' ~$ _1 U
   8 p# z7 E$ c1 l
  查看一下 Ceph 存储节点的硬盘情况：9 p, q7 v" S$ ~$ f. H5 r
  # ceph-deploy disk list ceph-osd1
" A( ?/ h7 s4 n2 @- K: h5 h  # ceph-deploy disk list ceph-osd28 ~/ B) _7 L, A& c7 s0 n
  # ceph-deploy disk list ceph-osd3
$ B! Y0 u" m$ e7 z8 s' R- Z" ?( L7 x2 {. C( o9 H; o- K
  3.2 擦出盘所有数据, @# M/ V1 W# d
  # ceph-deploy disk zap ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb
* l3 M5 V' b2 Z' S/ T1 |5 r   ! C* W7 u9 \- |5 d* A
  3.3 格式化盘
( f4 z' Y" |# h7 H: M- q5 D0 ]  # ceph-deploy osd prepare  ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb        
' v- v7 }# ~: i; T2 W" a/ _  ( V4 Y" q+ O: |8 x  Z$ w7 J
  3.4 激活盘7 h% O1 ~' ^  d3 S% R
  #ceph-deploy osd activate  ceph-osd1:/dev/sdb1 ceph-osd2:/dev/sdb1 ceph-osd3:/dev/sdb1        
) A4 @9 v: x- |0 h& [& H3 l- @9 O5 n! g" ?9 _7 A- d
  [root@ceph-mon1 ceph-cluster]# ceph df+ l# u' \2 m! V& s; M0 Y9 i" `
GLOBAL:2 u  h+ h- {& ~8 @
    SIZE       AVAIL      RAW USED     %RAW USED, b% R" Q4 U7 C
    76756M     71317M        5439M          7.093 c$ ?6 g& w* x  m: ^: a
POOLS:
. ]& x# Z( b% S7 [5 A3 p    NAME        ID     USED      %USED     MAX AVAIL     OBJECTS
3 D. c/ V; I  u' T) ]5 I- @    rbd            0
& S7 l1 O9 k5 d0 j$ k( I0 @% P' b* l: t% _! ?9 u
  默认有一个池 ,rbd* i3 e5 I7 J$ o0 r
/ a( {, m' B0 O$ [' y
  3.5 创建新的池
" A9 y* Z+ g  {2 Y2 C, i# b   3.5.1 删除原来的池
' I7 j( V3 m' F* m" ~4 k, P   rados rmpool rbd rbd --yes-i-really-really-mean-it3 J- \$ }( k* ]8 y9 c/ @# [- w
   3.5.2 新增加池) K4 M' }! ]$ Y/ O  U. G
    这里的池,就有点像我们lvm中的卷组
- y7 Y: S+ k  M) A    考虑到我们要安装rac,因此,把vote,ocr盘 ,与数据盘分开,因此,我们建立两个池.
7 b, u: p/ p; B5 y, L8 K& T! Q% L4 X9 a0 k# d2 A- t
    ceph osd pool create votpool 128
2 R) `+ e$ E& D8 n/ B    ceph osd pool create asmpool 120: |( l" T4 E- w
+ V) w( Q: y( }7 n! v% n6 N) P
    注意:以上在ceph-mon1机器上操作.
; T+ f  }6 ^/ v# {) X/ V+ w  c4 `  ~& ^" m0 s" I8 o, Y9 a
4. rac节点安装ceph 软件6 O; A: B  m' C+ d/ ?8 F+ k
   在ceph-rac1,ceph-rac2上安装ceph软件,让他们可以使用ceph存储% s9 W& }9 i  U& Y, a' J8 i
& E0 }, o* y/ d6 e& }3 {
   具体安装安装简略如下:- s# Z9 z- m$ U7 k' w6 l2 J
   4.1 安装软件# ?) N, p% J* w0 {+ a
    yum install ceph ceph-radosgw rdate -y6 e9 y% s8 O9 k& `

: V# l; `4 t" i    注:这个操作在ceph-rac1,ceph-rac2上操作. I( w; }6 A0 V' p( P
8 f4 B3 t0 _$ r# D* K. Y1 e
   4.2 把配置文件和密钥拷贝到client节点ceph-rac1,ceph-rac22 r2 N% R7 g! O- t$ N7 {1 @3 F
    [root@ceph-mon1 ~]# cd /root/ceph-cluster/; J6 T) d4 G6 u* c( c  L
    [root@ceph-mon1 ceph-cluster]# ll; {5 s& m) U, O) C# c3 Y
    total 2208 I! z/ W# u5 }+ S- Q7 c# g
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-mds.keyring% C& K% O; c0 U3 L: A
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-osd.keyring
( g+ Z( l  i+ S. O/ E9 C0 G    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-rgw.keyring# z0 @3 ?" L& K5 o0 F) w
    -rw------- 1 root root 129 Oct 26 04:21 ceph.client.admin.keyring
. F: N# V; j$ ^. p7 @. d    -rw-r--r-- 1 root root 258 Oct 26 04:20 ceph.conf
- e+ @+ f5 G4 e3 v    -rw-r--r-- 1 root root 200577 Oct 27 07:21 ceph-deploy-ceph.log
$ A4 I2 ]8 Z7 j% a    -rw------- 1 root root 73 Oct 26 04:16 ceph.mon.keyring
! ?- f# |! V& k4 h/ X% K9 L    看到有很多密钥，mds,osd,rgw,client密钥，需要拷贝的就是ceph.client.admin.keyring和 ceph.conf
/ \* @" W6 a) z+ D9 L" S' D    可以用ceph-deploy工具拷贝
8 m# H1 ?  f* R9 z( E   
& \6 o6 I% e/ r! k* s* k. ?    [root@ceph-mon1 ceph-cluster]# ceph-deploy admin ceph-rac1 ceph-rac2! v  N- J/ c. F1 V9 }

0 |9 F1 f; h9 r( ^3 j8 z    ceph-deploy 工具会把密钥环复制到 /etc/ceph 目录，要确保此密钥环文件有读权限
9 d# S( C& e7 r6 t6 H1 b. x    (如 chmod +r /etc/ceph/ceph.client.admin.keyring)。
, ?7 Z  u+ G; y0 l. a8 R* F* u3 P; W2 d3 z6 o2 E
      注意:以上在ceph-mon1机器上操作.  
( L8 N! J9 x9 D* {
7 H2 }: ?, O! i8 ^5.创建具体的image+ F/ X5 v( F; r0 N4 @8 H8 P
3 C6 y, {; d2 c% I+ I
   在 ceph-rac1 节点上创建一个块设备 image 。
7 Z1 M/ ]; ^9 ?" t   
0 H3 {7 Z  @9 @5 o4 ?   --创建3个1G 的vote盘 Image4 Z% |& u  B3 O; N+ C* @1 Q
   [root@ceph-oracle ceph]#
* _0 \% P4 [4 ^   rbd create votpool/img_vot1 --size 1G --image-format 2 --image-feature layering5 F$ l, z6 W% S
   rbd create votpool/img_vot2 --size 1G --image-format 2 --image-feature layering3 O; t0 d* E% i- G& P7 e3 S* ^2 W/ {% f

3 Y; W5 e& A7 x7 f& S   rbd create votpool/img_vot3 --size 1G --image-format 2 --image-feature layering
9 s% C1 M- ]# g& ]8 u9 _  {8 Y7 E4 H! L
   --创建5个2G 的数据文件盘 Image$ Y$ H. d( O4 W/ n
. ~2 n, V9 j( u4 S+ ^
   rbd create asmpool/img_asm1 --size 2G --image-format 2 --image-feature layering
+ A  q" M+ T% t4 i" W/ x/ S   rbd create asmpool/img_asm2 --size 2G --image-format 2 --image-feature layering! t' N2 y2 Y# R2 [; a0 R
   rbd create asmpool/img_asm3 --size 2G --image-format 2 --image-feature layering9 X" ~" V' [- ^
   rbd create asmpool/img_asm4 --size 2G --image-format 2 --image-feature layering3 A+ r! T! {+ O
   rbd create asmpool/img_asm5 --size 2G --image-format 2 --image-feature layering
" w, Y1 X4 R( i
9 L0 h6 F0 c  T" n8 r   --查看rbd池中的块设备" m/ G, {; O" u! }
  [root@ceph-mon1 ceph-cluster]# rbd ls --pool votpool  T8 s/ Q: G+ Q) {) O
  img_vot1
8 H/ `; R, @& A  img_vot2
" Y* D1 z6 W8 m1 n  img_vot3* t1 b# r" O; I6 w4 m
; j9 q6 r' p& W: L( u4 V
   [root@ceph-mon1 ceph-cluster]# rbd ls --pool asmpool$ a9 V4 A; |# ~( p, c- T& H
   img_asm1% [+ W" i2 B* A/ Q* s. W1 V$ }- E. c
   img_asm2
' j! ^3 G4 Y! s* n) F% X! n( h3 S1 |   img_asm3
2 J* `8 C/ I5 l9 }$ J   img_asm44 g- K) t) _3 g8 |/ c0 F
   img_asm5
! K# m& P  K. n( U, N5 N5 G7 ~
, N; j3 G! z& ~# ?7 Y% t( h8 f6.映射块设备4 s5 M0 U6 j: _* }  _$ Q; @4 x
  这个必须在客户端节点上执行,比如ceph-rac1,ceph-rac2上执行.' U+ [- S4 A, d' n9 r6 y

0 ?" E/ H' U' z" Z1 E- q   [root@ceph-rac1 ceph]#0 m5 k2 o% U, l' ^

9 Y$ I/ r; A, A! q/ q   rbd map votpool/img_vot1   
- U9 |2 r% ~, {) X; v! U/ E   rbd map votpool/img_vot2   ) [+ g& c/ d; b. V
   rbd map votpool/img_vot3   % j- ~! z2 U3 G- h2 C
   rbd map asmpool/img_asm1     
' w' Z8 Y' l+ i. [7 Y, G  b   rbd map asmpool/img_asm2, E7 i% }" E8 U+ J
   rbd map asmpool/img_asm3
$ ?) O) Y  m% w2 v1 O   rbd map asmpool/img_asm4
2 q. [% {3 C; K) K+ c* B/ r, J   rbd map asmpool/img_asm5
! O- Z: z5 A5 n: H" W5 p
& ~6 d' a5 O6 Y6 k   这个时候,我们通过lsblk上,可以看到新的块设备了:
$ ~) X, H, p; T$ s% }   [root@ceph-rac1 ~]# lsblk4 C- c9 d' I5 p2 d! @% C( K  I
   NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
. m1 j& g" K7 n7 P; B/ A% V" }   sda               8:0    0  100G  0 disk4 R. \: h5 I* D& z# i
   ├─sda1            8:1    0    1G  0 part /boot. L- [! d2 i6 [, F1 t
   └─sda2            8:2    0   99G  0 part+ z; `- E, j2 {# f
     ├─centos-root 253:0    0   50G  0 lvm  /
/ [" n9 L6 a$ t. b, O& t2 w     ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
: r2 v' I) d; n" G7 F5 P     └─centos-home 253:2    0   47G  0 lvm  /home$ t: a& E( Y  J$ R6 ?/ c
5 d1 J: w: W/ f3 N3 b2 Z
   rbd0            252:0    0    1G  0 disk
6 q' p% ^' u8 \  n9 l4 m* p   rbd1            252:16   0    1G  0 disk
% X1 s" {4 \7 C' N   rbd2            252:32   0    1G  0 disk
. y6 {, ^, z& V' J' M7 ^& O   rbd3            252:48   0    2G  0 disk
6 F; j% r% i+ @: y5 U1 {$ R# ^   rbd4            252:64   0    2G  0 disk
# \4 e: A) y0 ]1 R9 I   rbd5            252:80   0    2G  0 disk% B4 _$ v& y- k, y% d6 h1 h( Z' C
   rbd6            252:96   0    2G  0 disk
5 q3 N( a' B+ I6 I   rbd7            252:112  0    2G  0 disk   ' O" N6 z5 k& O2 k3 T* u; a& V" Y
1 [5 J2 p* R2 ?
  --要查看这个对应关系:
* f: u4 R# p# q3 S' z6 K$ t$ f2 i4 m7 X) ?# \' B
  [root@ceph-oracle ~]# rbd showmapped! x- A9 f, z; }9 B6 r# U
  id pool    image    snap device   
; w, e% I( k) N( O* ?# e" T2 A  0  votpool img_vot1 -    /dev/rbd0
& l2 F% l6 g8 [3 p2 }4 R  1  votpool img_vot2 -    /dev/rbd1  S0 n) H, @( |0 G) J$ b! j
  2  votpool img_vot3 -    /dev/rbd2
' \, T! g: Q) e, ~  3  asmpool img_asm1 -    /dev/rbd3
9 @; S( d4 V5 A* O  4  asmpool img_asm2 -    /dev/rbd4
, u1 }' M3 u; L% e8 I, g  5  asmpool img_asm3 -    /dev/rbd5
0 O$ l) Q, b3 g  6  asmpool img_asm4 -    /dev/rbd6
) W4 a) N! H% S0 \; G/ X  7  asmpool img_asm5 -    /dev/rbd7
: {, F- E. N. C1 Z2 z& J  U2 m/ ~5 T! ~; l* w- Z
7.修改权限
- H; _/ Q' q* f  \  这个块设备,每次重起,权限都会变回root:root# g8 O- Q, W! w8 \
  而且,这个对照也必须手工重起映射.
! @2 ^; y4 F% O9 p  因此,我们可以在 /etc/rc.local中,对应权限和映射,都写在里面& l& Y# H9 |" J3 \
0 y% ?7 x! i% _0 f
  [root@ceph-rac1 ~]# cat /etc/rc.local
: T9 B; x5 S3 a! n0 `#!/bin/bash+ R4 Y% R3 ~1 V5 R' K$ q# {
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES7 h. b- P" [# q& @- s
#9 j$ C8 L0 e2 v' n
# It is highly advisable to create own systemd services or udev rules# b" j( t+ Q7 N
# to run scripts during boot instead of using this file.% x8 k& f' {( b
#  o3 E, N% R8 I; O
# In contrast to previous versions due to parallel execution during boot& L6 J. i- \) m8 E$ f" X! r8 o* V. z
# this script will NOT be run after all other services.
. q0 x) K4 N) f9 x#
4 V+ @" w! h7 p- d9 f! K# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure* H+ q2 N2 S, E  j3 c4 K
# that this script will be executed during boot.
- q! a* i2 ]; B" y! W$ ]touch /var/lock/subsys/local1 r% K2 U0 _( A& d
rbd map votpool/img_vot1   
& ?2 x5 x, |! E0 y; Irbd map votpool/img_vot2   * N, F$ Q& i9 d
rbd map votpool/img_vot3   
! c* B5 s) Z( Rrbd map asmpool/img_asm1     
6 q$ x; i$ V, c+ Y2 q* ^4 Brbd map asmpool/img_asm2
+ M+ O4 W1 U% e( c1 ?" b6 S+ crbd map asmpool/img_asm3% p+ R/ ~+ |; i! l! Z* y
rbd map asmpool/img_asm4
, e& e- c: h/ Erbd map asmpool/img_asm5# h1 B6 k, `. }* d1 y3 r9 f
chown oracle:dba /dev/rbd*2 C4 n: D) d. b" }8 E1 _- q
chmod 660 /dev/rbd*
1 G, _7 R) U5 r- I4 x) p5 }6 Y8 ]
5 l) f+ i% ~8 g  J+ O! E/ ?# z6 h4 M+ V2 U! g& Y$ Y
编辑完后,执行以下语句,否则,系统重起,不会执行/etc/rc.local4 e! N/ W; M' ~3 Z8 b3 l' n
chmod +x /etc/rc.d/rc.local
$ w1 q; M4 V- d- j
, v5 c0 h% b5 s3 B( W4 M之后,每次启动后,映射和权限对应都会自动修改.5 ?6 L( K, R( F

- g3 I# t6 V5 V) F8.安装rac  D) E! B; g  Z4 F9 C9 k' D
  具体安装步骤略: h1 a  K+ T0 K
  安装过程和普通的rac安装没有任何差别.
/ Q4 W' O7 {& x( l
+ P6 _% O$ z2 \4 {3 O  磁盘的对应关系:6 g! A- R4 C. y9 U8 p3 a& L
  /dev/rbd0    dgocr  h3 d0 J) B8 @, M- s* E' ]
  /dev/rbd1    dgocr
  G5 B; x/ D7 d3 @3 n  /dev/rbd2    dgocr' c0 l- S; v: }! _- q

' x% e# K' E2 i8 x; P7 M* X$ [  /dev/rbd3    dgdata
- d! R4 U! h% Q! n, p  /dev/rbd4    dgdata
. F+ ^: \3 f4 a- _1 C  /dev/rbd5    dgdata8 {3 t( _+ p1 K# t) k' x
  /dev/rbd6    dgdata3 {2 q3 P2 U5 \8 @7 i9 [+ J; {
  /dev/rbd7    dgdata6 u. t0 Y2 _' y  e/ m( x, ^

7 D3 u  v* P5 J$ K3 \( f/ _/ ~& W9.安装完成:
6 W# @: ?0 g  y( H    1* select name,path,os_mb from v$asm_disk
; E/ Z' b6 `0 I7 _3 Z% bNAME                           PATH                                OS_MB
1 ?( [  t; Y  `: S------------------------------ ------------------------------ ----------: m6 q. U' t$ Q' D, U$ t* _
DGDATA_0004                    /dev/rbd7                            2048" K' [5 o0 z. i
DGDATA_0003                    /dev/rbd6                            20487 z( e3 E, P7 c; B( `: G
DGDATA_0002                    /dev/rbd5                            2048( f# Z- ?# @+ m2 C6 i3 t
DGDATA_0001                    /dev/rbd4                            2048% z5 @, W% F& ?' c" t4 H
DGDATA_0000                    /dev/rbd3                            20485 B( Y8 M1 N; b& z: O
DGOCR_0002                     /dev/rbd2                            10243 V4 U# _7 u9 f  T+ |5 b$ b
DGOCR_0001                     /dev/rbd1                            1024) h5 Q; `2 B" {& U
DGOCR_0000                     /dev/rbd0                            1024* d3 Q: y4 S3 X" p! n) _$ d' \- Z9 K

) g- u8 ]2 o7 _5 j4 a1 x资源状态:
5 s8 b# N- X  w4 J# a[oracle@ceph-rac1 ~]$ crsctl stat res -t
8 F& }7 g6 g  ~3 Y--------------------------------------------------------------------------------
' E! A7 p, |4 ^$ ENAME           TARGET  STATE        SERVER                   STATE_DETAILS      
) Q& P; c0 x  I( m--------------------------------------------------------------------------------
1 t% h% ?; J5 ]$ mLocal Resources( N) L! w& Q" {% _; `3 K
--------------------------------------------------------------------------------8 ?( `7 @, j& q2 t8 e! Y$ O& D
ora.DGDATA.dg$ [+ T$ Q# m+ d* g3 L* g1 o2 R5 {3 I
               ONLINE  ONLINE       ceph-rac1                                    
1 }' w1 Z% }. W. \               ONLINE  ONLINE       ceph-rac2                                    
$ i% H' P8 J! Q1 c! eora.DGOCR.dg, g9 U* M! r' p' m5 V
               ONLINE  ONLINE       ceph-rac1                                    - F, E$ q. \7 ~5 E) i* g
               ONLINE  ONLINE       ceph-rac2                                    
' q$ ]3 y" B, q% _: Eora.LISTENER.lsnr  t- N* m" H$ V% L
               ONLINE  ONLINE       ceph-rac1                                    - y, k8 ^: m! G' ~9 S, S% g
               ONLINE  ONLINE       ceph-rac2                                    
3 u' k6 L/ [- F4 W* [ora.asm' A; X8 T  n% B9 s3 u. [9 ]
               ONLINE  ONLINE       ceph-rac1                Started            2 Q: t% P) S2 b5 z/ e# f
               ONLINE  ONLINE       ceph-rac2                Started            
- L" ~% i3 k  S) t" Bora.gsd
1 q) O0 H9 Q  ~               OFFLINE OFFLINE      ceph-rac1                                    8 S8 ^& U6 l, _; x+ p' U# w7 w
               OFFLINE OFFLINE      ceph-rac2                                    $ a3 K9 H' \. a2 [1 |
ora.net1.network
( k8 ^# @- ?7 `# W  q2 {               ONLINE  ONLINE       ceph-rac1                                    - o# r4 s6 M& ?. L* n! k6 M$ _
               ONLINE  ONLINE       ceph-rac2                                    
: H8 \6 S4 t+ L9 u; M# J) |! M& Kora.ons6 `9 c8 \6 Y/ X
               ONLINE  ONLINE       ceph-rac1                                    . D; H6 G- _1 P) U
               ONLINE  ONLINE       ceph-rac2                                    
5 D! L/ U6 W) n, T& p--------------------------------------------------------------------------------7 X5 K9 Y  [$ ^8 [0 P9 N9 G
Cluster Resources  |1 t) h2 G1 p0 G8 h7 f
--------------------------------------------------------------------------------0 _- o% c5 X$ z
ora.LISTENER_SCAN1.lsnr3 l% Y2 E; U, j' N! s
      1        ONLINE  ONLINE       ceph-rac1                                    . t, W0 C; O' I& x4 J
ora.ceph-rac1.vip
+ [% R8 W+ ]: W. A) M9 H      1        ONLINE  ONLINE       ceph-rac1                                    + G7 N, A$ \& |& L! N: B
ora.ceph-rac2.vip
  {6 I7 t/ ~3 D* s: p/ \7 b: ^      1        ONLINE  ONLINE       ceph-rac2                                    
$ `9 O( m& F7 Pora.cvu( z2 A; k( @1 B0 ^
      1        ONLINE  ONLINE       ceph-rac1                                    / f) ~9 [- {% A' c3 A3 p7 {
ora.oc4j
8 A8 `7 _, x6 m8 C# Z1 ?6 O& X      1        ONLINE  ONLINE       ceph-rac1                                    6 L3 @5 g6 k5 C  Y1 E
ora.scan1.vip
1 @1 L* T1 k: o6 m      1        ONLINE  ONLINE       ceph-rac1                                    
& Q4 q0 n# B2 [7 T$ eora.sztech.db; a" m0 P& M" O% p, B0 Q. C
      1        ONLINE  ONLINE       ceph-rac1                Open               
+ `1 ]6 ?0 |+ C8 V, |+ n      2        ONLINE  ONLINE       ceph-rac2                Open
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:10 , Processed in 0.018116 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表