浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph+centos 7+oracle 11g rac安装流程ceph分布式与rac ...
返回列表 发新帖
查看: 3491|回复: 1

ceph+centos 7+oracle 11g rac安装流程ceph分布式与rac集群使用方式

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2021-7-1 11:13:00 | 显示全部楼层 |阅读模式
1.环境
3 `4 B" a: v+ `6 U  版本:
5 d  R& n! A% e% V/ l+ Q  centos 7.9! F" [* g6 _% w/ P
  ceph 14.2.8- y% V( _! w% \3 q/ B( j
  oracle 11.2.0.3
: ~3 i5 ?2 `. @" s4 L( l! I. j% [& \" Q9 }
  机器构成:
+ r1 k% v! c3 L& @   ceph 集群的构成:
2 U2 \* O" V, l* k   ceph-mon1 管理节点和监控节点    192.168.13.709 m/ V5 w  T  j# [5 X# h# q! M5 P
   ceph-osd1  存储节点                    192.168.13.71   
' l9 ]6 y+ o7 a5 f/ u" @8 F   ceph-osd2  存储节点                    192.168.13.72   5 R4 x/ c+ R% H6 _
   ceph-osd3  存储节点                    192.168.13.73   
& e( ^6 y) H) J
# I1 d5 t) U9 k2 g. _0 o. u  规划的每台机器贡献出来的存储空间1 d, Y3 E# L: `1 g& E9 c# C5 ]" |
  ceph-osd1   50g
/ H; J8 [* j1 W7 y" n; ]% J& b& n  ceph-osd2   50g
' x, P6 ~; J, O) u2 Z7 J4 M% n  ceph-osd3   50g; [/ X  w1 `/ C8 |/ p

9 W* p' a. Y+ s3 {" u; a& Y8 I  我这里是测试,正常规划,应该大小上接近,因为默认池的副本为3.
7 {6 K0 U1 I8 m! u' Y# Y0 L# _" z( B! U- z/ H' F6 S
   数据库环境:
: ?2 \9 Y0 O+ W* G& D   ceph-rac1  数据库节点                 192.168.13.75
2 _. c1 A9 _" f/ j, U' y: {   ceph-rac2  数据库节点                 192.168.13.76
3 n$ G0 d6 ~6 @% w) Z, K: E* y2 ?( S# D$ Y
   rac ip
7 H5 D! [3 K0 {& \8 X   192.168.13.75 ceph-rac1   
4 d) H$ S& k0 s& f' d$ H& t   192.168.13.76 ceph-rac2   
% _) w. K$ |, ~7 w2 V! H
7 z: I" @  p  t/ j' y0 `   192.168.13.77 ceph-rac1-vip% ~( f. p& U5 Z$ G9 e: c2 ]
   192.168.13.78 ceph-rac2-vip
( e+ n, _- S) r' {* J3 V# @4 S3 t- ?/ s  _. E
   192.168.13.79 ceph-scanip8 m$ g5 D  E2 e) v: H' A
2.安装ceph 集群8 f2 @9 {( {# n) l- P
  在 ceph-mon1,ceph-osd1 ,ceph-osd2,ceph-osd3上安装ceph集群
7 v& S( F2 I9 ?   具体安装见另外的帖子.% N2 J  e. B3 T

4 P9 y  N4 P+ Y! G3.规划磁盘
+ d4 b% C- p# Q8 [- U' Z% ]
0 r! B9 D( |7 u/ o: V  规划的每台机器贡献出来的存储空间  W3 _6 i# F1 p6 `
  ceph-osd1   20g   分区 /dev/sdb# W; e6 i7 A. A; `% |6 G
  ceph-osd2   30g   分区 /dev/sdb6 D# E" \& z8 s, B2 g) Q2 w2 S; H! J
  ceph-osd3   40g   分区 /dev/sdb
1 m2 O/ i( Y* g, H9 [  3.1 列出每个节点上的磁盘
) v. `7 V* {2 |/ A# h   
- j/ U- f& e' ]8 D2 }) n  查看一下 Ceph 存储节点的硬盘情况：8 A) y; N5 n2 v/ M6 p0 B
  # ceph-deploy disk list ceph-osd1
/ {9 ?" T8 B, b0 y& ^  # ceph-deploy disk list ceph-osd2
% t4 Q+ h  _% y* l' K' K8 L  # ceph-deploy disk list ceph-osd3
% N# t% i1 [  a1 ~
' l5 _. R9 K7 p+ U4 K1 l* z6 Q  3.2 擦出盘所有数据" E! F& w$ a9 [4 \8 v( w9 E' a3 ?8 K
  #ceph-deploy disk zap ceph-osd1 /dev/sdb% A$ [9 B  y! T7 U& B
   ceph-deploy disk zap ceph-osd2 /dev/sdb2 G$ \" x! d" h/ V. i3 Q
   ceph-deploy disk zap ceph-osd3 /dev/sdb
- T" j( Q3 r  p0 B/ ^2 X* f2 y/ [
! ?& `$ A9 i0 i6 i. U  K7 O- l& f- O. j$ B
  3.3开始创建osd
. E/ Y* l: U$ w& g" s2 c- X2 r8 i9 U0 S8 J9 T
ceph-deploy osd create  ceph-osd1  --data /dev/sdb
ceph-deploy osd create  ceph-osd2 --data /dev/sdb, v2 [7 ]. C2 B; ~
ceph-deploy osd create  ceph-osd3  --data /dev/sdb
& o* I: \3 g0 H: h/ J1 @% O5 }+ j/ q7 @, ~) R
3.4查看pool池：
* M3 e  V! U7 _' T; d. r; l) L ceph osd pool ls
- k4 i! e: M# Q4 z0 y$ B" Yimages
' [* v4 N/ @  Grbd
, [. p  B2 [# k# e8 N9 g( z9 h  C& |3 l9 V: e/ o; T" v$ P" T: |2 W
  默认有一个池 ,rbd
" ?1 O; r8 r* S& I) P; t
( f! R6 C, ]% v* j! Q) c2 X2 G  3.5 创建新的池
* R: D6 s7 ~, d/ f9 _   3.5.1 删除原来的池7 p4 w0 u8 `! W7 M1 |$ _0 |. J  t* t
   rados rmpool rbd rbd --yes-i-really-really-mean-it
, z/ q0 Z) K9 I* d5 c   3.5.2 新增加池( o% l* A+ J' e5 K6 |! P
    这里的池,就有点像我们lvm中的卷组
" P1 t  A  P# T( e( ~( t" h    考虑到我们要安装rac,因此,把vote,ocr盘 ,与数据盘分开,因此,我们建立两个池.
- O! U0 w) s+ E8 n2 S' q
4 F2 K6 i% y: U1 |    ceph osd pool create votpool 128/ J( d$ U1 I- _6 G
    ceph osd pool create asmpool 128
3 c1 w" F; p  K" J
0 v- l' v: W6 H! N( p; w/ U    注意:以上在ceph-mon1机器上操作.
1 a: c7 h' Z% n; J  _  E
0 b0 {) m) `' ?9 n5 X% N$ ~4. rac节点安装ceph 软件
! k: o2 {1 Z( O+ _) B1 [/ O   在ceph-rac1,ceph-rac2上安装ceph软件,让他们可以使用ceph存储
( n) r  k) Y" N. `5 x" v, ~! z) I! j* z. h9 `  Z8 C* {
   具体安装安装简略如下:
" X' W' u+ Z+ E( c: `- \, X   4.1 安装clenit软件, E% T7 W4 O! \5 e6 b/ h/ u
    yum install ceph ceph-radosgw rdate -y; B( V2 F$ H+ l
, C" J, u8 e) `
    注:这个操作在ceph-rac1,ceph-rac2上操作
# H9 R' _( Z. I% M4 n  {9 V6 p3 S! j/ T1 a0 ?3 T
   4.2 把配置文件和密钥拷贝到client节点ceph-rac1,ceph-rac2
. ~3 s' D, [3 s) b8 X: a    [root@ceph-mon1 ~]# cd /root/ceph-cluster/
; o* n& P% W: e9 c# q0 @    [root@ceph-mon1 ceph-cluster]# ll
% h& H  b' e& r6 w    total 220
+ p; d. j( E; h' b5 }& q7 F) v    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-mds.keyring8 ]8 \- I+ C8 k- s5 _
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-osd.keyring6 @- S+ B- X* o; E
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-rgw.keyring( F% G) p3 ~7 t9 \. ]
    -rw------- 1 root root 129 Oct 26 04:21 ceph.client.admin.keyring8 r* K% h' s  z: e; |
    -rw-r--r-- 1 root root 258 Oct 26 04:20 ceph.conf
2 c! c2 R) }( {! {6 N. g- K    -rw-r--r-- 1 root root 200577 Oct 27 07:21 ceph-deploy-ceph.log
' A9 c2 e, n, }    -rw------- 1 root root 73 Oct 26 04:16 ceph.mon.keyring
# g1 x( S3 A7 L6 b    看到有很多密钥，mds,osd,rgw,client密钥，需要拷贝的就是ceph.client.admin.keyring和 ceph.conf
* S! C1 l! @) v$ W5 F; n    可以用ceph-deploy工具拷贝, B, J( i6 g: r
     e* r" B, [" u' \
    [root@ceph-mon1 ceph-cluster]# ceph-deploy admin ceph-rac1 ceph-rac2
# ]* w: H5 P' @7 Z( X5 w3 g; ^+ g7 A* n2 N
    ceph-deploy 工具会把密钥环复制到 /etc/ceph 目录，要确保此密钥环文件有读权限2 \' A' C& i) Z1 R  x
    (如 chmod +r /etc/ceph/ceph.client.admin.keyring)。; q! V+ W1 {, [! n% n) }$ l2 c4 @
, L$ C6 j8 `2 K  c) @( l
      注意:以上在ceph-mon1机器上操作.  
9 f0 u9 t+ o$ y# P4 T" U, S. h# k2 M* x( Q& T1 G1 D
5.创建具体的image; Q3 |; I' h: L$ c) l

4 J9 A$ [: g3 j' ?   在 ceph-rac1 节点上创建一个块设备 image 。
8 L8 X" ?& q; M( L: ]+ b4 \   ' _! i& a6 {/ Z/ Y# A4 q4 Z+ s- X
   --创建3个1G 的vote盘 Image; |" Y: K) P4 n/ n4 j& \
   [root@ceph-oracle ceph]#; f5 Z" ?# u9 Y* R5 u8 f3 D
   rbd create votpool/img_vot1 --size 1G --image-format 2 --image-feature layering4 b2 Z$ K5 O/ O9 G% I
   rbd create votpool/img_vot2 --size 1G --image-format 2 --image-feature layering& o1 e, \2 w. p2 `( e

5 T! V8 c. t3 s; o; S" c   rbd create votpool/img_vot3 --size 1G --image-format 2 --image-feature layering- L/ p! v' o( U8 J1 z0 C; T
, X0 }1 ], ^$ |
   --创建5个2G 的数据文件盘 Image
& J5 [1 N6 t) ]+ Y
5 z& l; y' f, t4 s! c0 Y$ E* ^   rbd create asmpool/img_asm1 --size 2G --image-format 2 --image-feature layering- N1 C: ]) z8 O0 q5 u0 l+ A
   rbd create asmpool/img_asm2 --size 2G --image-format 2 --image-feature layering
5 I) O9 Z3 }4 I8 m   rbd create asmpool/img_asm3 --size 2G --image-format 2 --image-feature layering4 i% F+ t. p( @4 w( s# x
   rbd create asmpool/img_asm4 --size 2G --image-format 2 --image-feature layering
! U* I" m' _" w   rbd create asmpool/img_asm5 --size 2G --image-format 2 --image-feature layering8 q2 r( u+ a% P& `. A8 I

; i9 @; q  G$ `/ {3 z   --查看rbd池中的块设备. B7 j" b# s3 y& V6 |9 ^7 p% O
  [root@ceph-mon1 ceph-cluster]# rbd ls --pool votpool8 H4 T' K' P) T
  img_vot1' ]/ t0 ?& m6 g) k
  img_vot2; c" n! c. v2 j8 d8 g
  img_vot3
$ [) j) x$ w" D  B1 N) Y8 G/ u% C1 _( \
   [root@ceph-mon1 ceph-cluster]# rbd ls --pool asmpool5 p, F* ?3 E8 _; P% \# H
   img_asm1
0 ^8 y! Z% |' L+ l, P2 D; n. F' q, O   img_asm2* t1 C- ^" C5 U
   img_asm3
: @7 ^) H0 t0 s0 _; E. w   img_asm4* k! _% \0 @# o9 T4 X
   img_asm5/ Q; X: \9 ~: B* e
# ^: P; }5 l, w* R! w
6.映射块设备
( c* c. [7 [. |( \  这个必须在客户端节点上执行,比如ceph-rac1,ceph-rac2上执行.
$ r/ u: `& @$ I& B- ^$ S8 D  s% A% M5 @
   [root@ceph-rac1 ceph]#. H$ c1 N7 c  {! V/ n  F
% o; `* n  R5 x% q  i
   rbd map votpool/img_vot1   
9 a" r$ a# r2 M; s9 z0 G! F   rbd map votpool/img_vot2   
2 v. e6 ]( c% w) s& u   rbd map votpool/img_vot3   , n5 J( `$ v" Z' j5 S( G2 R
   rbd map asmpool/img_asm1     
0 j8 _' s/ M; g6 c1 C' w   rbd map asmpool/img_asm21 Z: q3 b9 s" P$ U* |
   rbd map asmpool/img_asm3* d, J# E6 R! g  _7 L! i0 n- Y
   rbd map asmpool/img_asm4, U1 Q" U/ ^* J5 ?. g3 |) L
   rbd map asmpool/img_asm5
; w( N* Y  [; I$ g
. _2 i8 [/ H6 O+ @   这个时候,我们通过lsblk上,可以看到新的块设备了:5 P& l# w) S  _2 {5 n% K3 O; m% V/ v
   [root@ceph-rac1 ~]# lsblk& i: u9 K4 r6 S" x! G
   NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
  Q- t, s8 x8 i* n2 k   sda               8:0    0  100G  0 disk
1 w/ E# g; F. g7 a0 ~   ├─sda1            8:1    0    1G  0 part /boot( N3 A) }  f' Q- H% X
   └─sda2            8:2    0   99G  0 part- z; ]; R2 c8 M% f4 e) Q8 O. t
     ├─centos-root 253:0    0   50G  0 lvm  /# o5 ^4 K: k6 [# f9 R/ B
     ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]
% k4 ]; G9 ^' c; R" q     └─centos-home 253:2    0   47G  0 lvm  /home9 H0 |' e2 Q" S7 W

6 _) n/ \8 {  O; B   rbd0            252:0    0    1G  0 disk
9 R; W9 f1 f8 U- Y5 w" G   rbd1            252:16   0    1G  0 disk
) v4 B) O8 X9 @+ G% j3 s, |! _* f4 A   rbd2            252:32   0    1G  0 disk
8 N/ h- m) h5 w" h: a   rbd3            252:48   0    2G  0 disk4 e5 r* t- [) B# }4 Y8 q
   rbd4            252:64   0    2G  0 disk
& {' N; N4 N+ g8 f' ?7 f  f   rbd5            252:80   0    2G  0 disk
+ j+ x8 P* i8 e8 V' u' r   rbd6            252:96   0    2G  0 disk
/ C' I7 R' _3 B5 b1 g9 S( \   rbd7            252:112  0    2G  0 disk   
$ M+ i( ^: @- V1 N& s1 @* V
/ P( x3 y! w7 R& }7 l  --要查看这个对应关系:2 Q0 c; d& Y9 D3 y

" Q3 }# P6 V; z3 Y/ D6 J: {5 [  [root@ceph-oracle ~]# rbd showmapped9 l3 Q) L/ B5 H- x
  id pool    image    snap device   
/ E" X1 p. t: t* l  0  votpool img_vot1 -    /dev/rbd0( D: [# o' Q2 V) j3 N
  1  votpool img_vot2 -    /dev/rbd1
1 Y0 Z4 A% Y+ a5 m  2  votpool img_vot3 -    /dev/rbd2
7 g. x9 G6 S& T- `0 C4 a# h2 Q9 D7 P7 q  3  asmpool img_asm1 -    /dev/rbd3
8 @" X) G; s* Z/ S. K( n  4  asmpool img_asm2 -    /dev/rbd4; w' ^3 B' z- u
  5  asmpool img_asm3 -    /dev/rbd5
1 E- D* }& `! t3 B: s3 ]  6  asmpool img_asm4 -    /dev/rbd6
' ?& t$ L; c/ u+ c, n1 \, q  7  asmpool img_asm5 -    /dev/rbd7
' P4 M6 |$ n" m" P
) U9 o! ^6 n2 g2 |+ I" G' `1 N7.修改权限  \( P& G- y+ a( S( v- f
  这个块设备,每次重起,权限都会变回root:root
, [& x/ S0 a5 e  而且,这个对照也必须手工重起映射.
; {2 Q! O& T0 V8 l  因此,我们可以在 /etc/rc.local中,对应权限和映射,都写在里面
- I& r) _4 m4 G3 J9 R8 o8 S
) J( m& B4 [5 w0 a0 W* e  [root@ceph-rac1 ~]# cat /etc/rc.local
) S# o9 A' B. A  U#!/bin/bash1 O9 F- \$ K" H0 Q+ e+ Z
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
0 s8 p4 }) k& G3 m" G#+ H. ]7 t0 M- b" K! E
# It is highly advisable to create own systemd services or udev rules
+ U7 U/ ]% O' @, y# to run scripts during boot instead of using this file.
! a. V9 g9 m$ t& h/ P! Y#3 ]5 ?8 s* T/ w& C
# In contrast to previous versions due to parallel execution during boot
: _$ `8 y& R# z$ P8 A" h# this script will NOT be run after all other services.0 W& |. S8 v2 }" K0 i, l
#
2 F& ^0 w1 p" g' N9 [6 e# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure1 r* F) R4 r, I1 \& v0 i' _
# that this script will be executed during boot.
* E( S! y! D* Stouch /var/lock/subsys/local
, ~- z8 T* {/ V0 N& v) T7 H7 q2 ~rbd map votpool/img_vot1   % `8 Z! q; @- X* C1 W/ f0 u
rbd map votpool/img_vot2   $ Q( m' F- o* A) F+ V8 p+ L, P
rbd map votpool/img_vot3   8 p) \" e+ \9 ]+ }
rbd map asmpool/img_asm1     
, w; [8 u; A5 `; a0 F  i% Prbd map asmpool/img_asm2$ @0 {3 c: Y/ K* G! `  M) a
rbd map asmpool/img_asm3
# ~" r6 M$ l! n- x0 c( g" r$ x( Zrbd map asmpool/img_asm4  ]; [3 q( k* h: n( f7 v8 ~9 m
rbd map asmpool/img_asm5
) L9 V2 D$ \! f; V- Hchown oracle:dba /dev/rbd*
9 _3 |2 y& ^' U! O' pchmod 660 /dev/rbd** g2 z6 D! t3 Y  V" \* A9 N
& t$ p- R( i% k/ r  ^9 X1 x

' V- ^1 B: A& S! \6 B. z5 O编辑完后,执行以下语句,否则,系统重起,不会执行/etc/rc.local
6 t" W4 K( b+ v3 D6 S+ Dchmod +x /etc/rc.d/rc.local
$ o0 w" W1 e6 ^5 F, o
: X; n1 q( V8 Z" y之后,每次启动后,映射和权限对应都会自动修改.
8 d2 h* U: `, l% b- @6 O- m0 f5 |1 H; K! a5 v3 f
8.安装rac% s) B8 P$ y! X- }
  具体安装步骤略
. \. B) B8 F* w! q6 R  安装过程和普通的rac安装没有任何差别.& O7 R( A4 l( P) B
% [3 t5 F, P3 y1 D  V6 L. `. [
  磁盘的对应关系:# {+ Z; X: X3 O4 @) V" D0 Q9 s! K
  /dev/rbd0    dgocr: R8 z5 o, i2 n# h# ]3 c1 n, u
  /dev/rbd1    dgocr: K! v' `( E  R, r4 g$ E/ l
  /dev/rbd2    dgocr
$ \  R7 D  }' r8 N5 x
& U. {1 u  n8 K0 V  /dev/rbd3    dgdata
7 ~4 H; @: c- G! f- W  /dev/rbd4    dgdata" R2 j9 A1 W+ M4 j
  /dev/rbd5    dgdata
2 }+ V8 d% b5 p) R( P" J$ [  /dev/rbd6    dgdata* y! v4 `6 w1 e, G* w8 e
  /dev/rbd7    dgdata
3 L0 z* g- e8 j/ Y7 t# X+ m7 Q) z3 T+ W) H7 U: h
9.安装完成:
! v; G* u/ i$ T& ]    1* select name,path,os_mb from v$asm_disk
7 U1 L& u: m* P! r3 w) j5 j! oNAME                           PATH                                OS_MB6 O2 M3 W5 }8 U* S
------------------------------ ------------------------------ ----------
8 y( w6 B* u9 S' M" _8 v6 ]DGDATA_0004                    /dev/rbd7                            2048
; R. O2 b+ V- `: g$ F1 PDGDATA_0003                    /dev/rbd6                            2048) Y9 ?8 h3 F; j+ Q5 `% N" H8 J  J. x
DGDATA_0002                    /dev/rbd5                            2048
5 V5 R) U( r% MDGDATA_0001                    /dev/rbd4                            20480 \( K  s6 V/ L, _
DGDATA_0000                    /dev/rbd3                            2048
: G7 o5 y. {/ u& L# L& G  CDGOCR_0002                     /dev/rbd2                            1024
* ~+ B- C+ D3 n1 ^: @DGOCR_0001                     /dev/rbd1                            1024
7 G  s, j7 g3 G/ ?, J  sDGOCR_0000                     /dev/rbd0                            1024; g9 U/ l: R+ _
* v7 L: [; H7 u" H4 s0 P3 i' h' F
资源状态:8 P$ p' V4 Q" [- ]. W, o
[oracle@ceph-rac1 ~]$ crsctl stat res -t
$ r/ u/ E$ }6 M7 E9 F--------------------------------------------------------------------------------
/ Z; E9 O; b" v; r0 o. }NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
! L$ A2 y9 h% {/ S4 u1 ^--------------------------------------------------------------------------------1 X& s+ n) n( `: W+ n, l
Local Resources. x" @! V- Q& f8 \3 l' T' j8 {* s" ?( N
--------------------------------------------------------------------------------+ p$ A5 ]. C( F. c$ ^
ora.DGDATA.dg- ]# v) n* e9 s- E0 y! r
               ONLINE  ONLINE       ceph-rac1                                    9 o! J; b9 Y4 s( ~) Q
               ONLINE  ONLINE       ceph-rac2                                    
# U2 @/ l& j" Y- J" v& L3 t4 o2 c% I* Bora.DGOCR.dg# ~: B& r( W- g* S; r
               ONLINE  ONLINE       ceph-rac1                                    
% g1 b# J  x: D               ONLINE  ONLINE       ceph-rac2                                    + Y* U/ [! D; V# P* q# B
ora.LISTENER.lsnr8 V6 q  M) E2 g
               ONLINE  ONLINE       ceph-rac1                                    
3 ~& }  Q1 g8 v$ E+ `! e: d               ONLINE  ONLINE       ceph-rac2                                    
- u' H. J6 v6 {: d6 O  N. N9 l9 E9 uora.asm$ T1 D! P3 Z6 ^' q
               ONLINE  ONLINE       ceph-rac1                Started            
6 W1 L5 Z8 j1 P5 C               ONLINE  ONLINE       ceph-rac2                Started            & h0 l, d4 q7 ^9 c) |$ @7 S
ora.gsd2 \3 d$ |  A% ]) e; z% b1 B% g; J
               OFFLINE OFFLINE      ceph-rac1                                    
: N; @" d5 I1 }7 T               OFFLINE OFFLINE      ceph-rac2                                    2 {2 ?1 S- Q$ _) N1 c/ P  j
ora.net1.network6 }- l. P  y; P8 k# D
               ONLINE  ONLINE       ceph-rac1                                    $ K/ k6 j) `! q' ]: j
               ONLINE  ONLINE       ceph-rac2                                    * V" f# q- u! y
ora.ons7 g2 `, f  m; R9 {: Q, y
               ONLINE  ONLINE       ceph-rac1                                    : t5 h) b+ {4 f# o+ N) m; a  |
               ONLINE  ONLINE       ceph-rac2                                    
6 g9 Z6 C$ t& {" M1 |; S# J--------------------------------------------------------------------------------
% a7 l/ g$ a$ A+ K" d) HCluster Resources
# p7 k8 C& w7 \--------------------------------------------------------------------------------
! n! n4 @. N8 G3 J# bora.LISTENER_SCAN1.lsnr; `2 j# c3 R5 T3 b% V
      1        ONLINE  ONLINE       ceph-rac1                                    ; ^! D  V8 I& s- x* [! `. q
ora.ceph-rac1.vip
5 J' @. v1 ?8 D% _( O* Y6 t      1        ONLINE  ONLINE       ceph-rac1                                    
( P' T% \5 U* f5 D# T! Aora.ceph-rac2.vip
+ c$ r6 B( ^! w$ |( p6 c      1        ONLINE  ONLINE       ceph-rac2                                    
4 C) w' w3 B( |) Gora.cvu; I+ B; t5 G0 |. A2 d6 M
      1        ONLINE  ONLINE       ceph-rac1                                    
2 c! Y, d& t! yora.oc4j; Z$ o: p6 }9 w. Z* `* E7 e
      1        ONLINE  ONLINE       ceph-rac1                                    9 ~3 W! x: d- ]1 H0 p6 M5 s3 v
ora.scan1.vip5 ~3 U( L2 f3 u* ~  K$ X
      1        ONLINE  ONLINE       ceph-rac1                                    
! M! D8 m0 L( u' m0 oora.sztech.db
1 E% K9 h5 g' Y# a* E6 I8 V' G      1        ONLINE  ONLINE       ceph-rac1                Open               ' e6 w2 o, P: M  C( \8 [
      2        ONLINE  ONLINE       ceph-rac2                Open& e# |# B! J+ i0 T
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2023-5-26 10:34:17 | 显示全部楼层

2 d( J( K' W* `' {7 [7 T, ~0 g0 J1.环境% I: |4 i! u9 b8 z" P
  版本:! `) D9 f- y, q* R" U: {
  centos 7.4$ F- ~* o3 r6 R, p8 j
  ceph 10.2.9: P, `/ h% ~8 G
  oracle 11.2.0.4
8 K% W& P. ]" W" r: W6 O$ F0 c1 Q- M, j' |# W
  机器构成:
0 _* n) {* Z5 [1 F4 g$ F/ \( R   ceph 集群的构成:2 p5 n% ~4 n+ H% p' r7 N; y
   ceph-mon1 管理节点和监控节点    192.168.0.170
2 X0 V, C5 m. q) ~( u6 G+ a3 b; G& @) }0 l   ceph-osd1  存储节点                    192.168.0.171   ! @8 z6 l- n* L( P; r4 o9 S
   ceph-osd2  存储节点                    192.168.0.172   # w+ k. |3 N2 a  C
   ceph-osd3  存储节点                    192.168.0.173   
& h) m0 @. z: g/ {5 k6 U# z' C' }0 U" b8 E
  规划的每台机器贡献出来的存储空间- M$ c0 f+ W( k! x
  ceph-osd1   20g
( f/ G& K! g) R' J  ceph-osd2   30g3 _3 n4 c2 G' _% j/ ~0 w: z, D; P
  ceph-osd3   40g# g* o$ Q1 Z; m6 }# h) C

/ d  N! v- E' N* O) ~  我这里是测试,正常规划,应该大小上接近,因为默认池的副本为3.6 z: ]* z0 Q9 {8 ~( c
! k8 E% o! M) |5 ~$ ~
   数据库环境:
! q) h, p- w/ U3 B% b8 @   ceph-rac1  数据库节点                 192.168.0.175+ C6 c: ~+ u* v0 Y! S8 J4 o- ?
   ceph-rac2  数据库节点                 192.168.0.176
3 f3 J3 }8 {' O/ G& d: F
. b( b% \; b# ?0 [  c, e1 ~3 `   rac ip& M$ O$ X# y% u& @0 K
   192.168.0.175 ceph-rac1   , m1 y$ N" j& H! k
   192.168.0.176 ceph-rac2     j6 j3 u5 i& {; K7 L4 Q* K
6 m& M" @, M) ?
   192.168.0.177 ceph-rac1-vip
- o+ ?& W1 ]4 i" H2 s: q7 g$ j   192.168.0.178 ceph-rac2-vip/ R+ r% B% y. P$ f- G* |4 E& x
7 K4 ~3 ~9 T1 D9 X  E6 t. S  }: C
   192.168.0.179 ceph-scanip' k5 C7 h& i& @, L% y) R% R
2.安装ceph 集群% E! v0 u/ b+ s  \5 F. `/ K. C
  在 ceph-mon1,ceph-osd1 ,ceph-osd2,ceph-osd3上安装ceph集群
% m5 J+ t7 k& D8 I   具体安装见另外的帖子.
5 x: ]8 `" d# r% Q0 t
2 n4 a" k* C4 L$ _3 {) G3.规划磁盘: m+ q$ v6 Z5 ~; d9 r1 x- Q4 O
9 y  y+ m( [5 n! ^2 V" J
  规划的每台机器贡献出来的存储空间& u: ~* j" L: u. \  c
  ceph-osd1   20g   分区 /dev/sdb, K$ N4 P& a6 A( N4 }) L
  ceph-osd2   30g   分区 /dev/sdb% ]: V% ]8 \& R# H
  ceph-osd3   40g   分区 /dev/sdb
( u* y3 Y; K. q1 M+ j: m  D# G  3.1 列出每个节点上的磁盘
! r. R3 t2 B# t; U- U; G   
1 _3 v. N4 J; d; b" r  查看一下 Ceph 存储节点的硬盘情况：
5 ~& u0 `& [- h  O. }  # ceph-deploy disk list ceph-osd1
) ?. t' F& K' J  # ceph-deploy disk list ceph-osd2
% @, W5 D& X6 X. I& p  # ceph-deploy disk list ceph-osd3
/ k9 Q6 ~- Y- k3 \# i5 G+ J+ j
- }3 q. O. Q4 C9 _; q- C! k1 G3 U  3.2 擦出盘所有数据, Q5 I; w! G) D3 {% S. w9 C0 ?
  # ceph-deploy disk zap ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb* A/ }( W. _. I
   
) g! _/ {8 ?5 `0 T  y1 {  3.3 格式化盘; w0 e# ~/ P. z+ A! s6 p
  # ceph-deploy osd prepare  ceph-osd1:/dev/sdb ceph-osd2:/dev/sdb ceph-osd3:/dev/sdb        
& H& t% r1 s3 _7 O  8 M* {( U1 Z2 h4 Q3 o
  3.4 激活盘& G' Q6 Z. S7 L; ^2 S1 B
  #ceph-deploy osd activate  ceph-osd1:/dev/sdb1 ceph-osd2:/dev/sdb1 ceph-osd3:/dev/sdb1        ; a8 D6 I" Z, J+ V' z
# M. K! ]0 b& D4 F
  [root@ceph-mon1 ceph-cluster]# ceph df' V- l& V! o9 _' j. K: l
GLOBAL:
. I  I9 {; o/ C6 B; }; Y5 |2 \( f    SIZE       AVAIL      RAW USED     %RAW USED. L6 D9 i& O1 r" W
    76756M     71317M        5439M          7.09
1 f% p8 j% c" W* M1 b& O4 FPOOLS:
# u2 F8 `7 `  e, U4 ?    NAME        ID     USED      %USED     MAX AVAIL     OBJECTS- n- Q1 p( n9 G, Y5 z
    rbd            0
/ ~# S) ~% Q2 J0 b+ C2 Z6 V9 T, H9 M3 x" c! c
  默认有一个池 ,rbd# A0 a2 f' `- F5 h  n3 ~7 Z

9 J& F  N% K- v+ n) X  3.5 创建新的池( p0 q& h3 q5 p* W" d- E; \
   3.5.1 删除原来的池. w3 Q1 B' O0 Q8 ~4 _, B* G
   rados rmpool rbd rbd --yes-i-really-really-mean-it6 v" j" L; ^& G* x: e# s9 z
   3.5.2 新增加池' @! Z) h2 ?% U9 B4 b3 b
    这里的池,就有点像我们lvm中的卷组/ w+ @* E: X6 _# y( F+ [
    考虑到我们要安装rac,因此,把vote,ocr盘 ,与数据盘分开,因此,我们建立两个池.+ f' H$ q+ Q3 p9 t7 J$ s, D

9 k7 ~5 Y# O0 g- O. q, }& O    ceph osd pool create votpool 128( R, J9 S( z8 @, K& s) I5 F: B
    ceph osd pool create asmpool 120) f/ X+ P0 U% q8 F: J3 w
  m7 N; |- k; F! v7 u+ _- W0 b
    注意:以上在ceph-mon1机器上操作.
; `7 J4 h* h& F% V4 x8 }
! ]! Y" U7 w0 d; K- A" o4. rac节点安装ceph 软件
4 P' L; n* N3 p: A. z   在ceph-rac1,ceph-rac2上安装ceph软件,让他们可以使用ceph存储& r6 H% D# ]  T: Q

7 A% D: r/ v( A6 m2 A" Z   具体安装安装简略如下:
# P" S' ^2 g! k( \   4.1 安装软件
6 u3 L6 ~+ G4 f' Z8 G$ H    yum install ceph ceph-radosgw rdate -y
8 C% E7 \. g& y! B' ?+ z1 k- F+ K" t3 p/ p3 h
    注:这个操作在ceph-rac1,ceph-rac2上操作
& H0 \" I/ x' j+ b
$ F) @6 v. |& [/ n' I   4.2 把配置文件和密钥拷贝到client节点ceph-rac1,ceph-rac2$ F! n8 f5 R0 z, J% c/ X9 O
    [root@ceph-mon1 ~]# cd /root/ceph-cluster/4 p/ o0 ]' ?! T% x2 K
    [root@ceph-mon1 ceph-cluster]# ll
1 i. K/ `' H- }) `1 {- G9 F    total 220
  E9 e# E; J4 z2 x" w    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-mds.keyring- k; i0 h2 {1 X! W$ S/ v# y% R
    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-osd.keyring
8 e% R9 z- ~0 _! i6 [    -rw------- 1 root root 113 Oct 26 04:21 ceph.bootstrap-rgw.keyring8 r! t1 }/ F$ f) }0 r
    -rw------- 1 root root 129 Oct 26 04:21 ceph.client.admin.keyring, t& w: p8 I8 H0 a# M
    -rw-r--r-- 1 root root 258 Oct 26 04:20 ceph.conf
6 Z$ \4 V) i2 H2 F: v7 G    -rw-r--r-- 1 root root 200577 Oct 27 07:21 ceph-deploy-ceph.log# W: Z% q. }. K0 m5 V. W2 S! Y9 s* w
    -rw------- 1 root root 73 Oct 26 04:16 ceph.mon.keyring
( N2 I. g+ u# X2 g# W/ `2 ?    看到有很多密钥，mds,osd,rgw,client密钥，需要拷贝的就是ceph.client.admin.keyring和 ceph.conf/ x5 ^* R& g. h) @
    可以用ceph-deploy工具拷贝3 A1 v6 o# m% c5 y  J3 B4 X; z- b
   ' r  ?9 M/ W. @) Z
    [root@ceph-mon1 ceph-cluster]# ceph-deploy admin ceph-rac1 ceph-rac2( H2 g" Z* Y  @5 y# ]7 ~$ \9 \( s
. Z" @5 b3 ]8 I3 r! q
    ceph-deploy 工具会把密钥环复制到 /etc/ceph 目录，要确保此密钥环文件有读权限
# x( S" m2 |8 [$ }1 w: t3 N    (如 chmod +r /etc/ceph/ceph.client.admin.keyring)。
+ C5 y; H% F6 L1 ^- G8 u; N
# F* J3 T) [9 ]5 Y; Q1 H/ s      注意:以上在ceph-mon1机器上操作.  
/ h' B. s' K; K- T7 E
1 b2 k- \9 }8 ^; Y! K5.创建具体的image
; l0 N7 P) c, J( P( `5 N8 ~* j% h3 V3 |6 S+ g0 r
   在 ceph-rac1 节点上创建一个块设备 image 。
) r! [% v: |: @9 x   8 X$ `8 X) M% V
   --创建3个1G 的vote盘 Image& L( F/ q4 ^" q& e
   [root@ceph-oracle ceph]#
' s1 u/ Y/ E% ~   rbd create votpool/img_vot1 --size 1G --image-format 2 --image-feature layering* A. ?( X6 F* j5 [
   rbd create votpool/img_vot2 --size 1G --image-format 2 --image-feature layering1 k$ K% @! B' ~, r, \

& l3 u9 |) m- M$ j   rbd create votpool/img_vot3 --size 1G --image-format 2 --image-feature layering0 W2 X4 q, Z1 k" V. v# R* S

$ ~- w' e" E6 X( K' x' L. Q9 h; N   --创建5个2G 的数据文件盘 Image9 y. E7 i' l2 ]7 U4 z
, _+ g; u+ o0 g. y' @0 x- R1 v, E
   rbd create asmpool/img_asm1 --size 2G --image-format 2 --image-feature layering+ W, F0 i, |& ~. E7 e  h: e
   rbd create asmpool/img_asm2 --size 2G --image-format 2 --image-feature layering; l' i4 q- l2 T' c9 r
   rbd create asmpool/img_asm3 --size 2G --image-format 2 --image-feature layering$ {& y2 w# z( o, @
   rbd create asmpool/img_asm4 --size 2G --image-format 2 --image-feature layering4 d$ _$ l2 ?9 n: h
   rbd create asmpool/img_asm5 --size 2G --image-format 2 --image-feature layering
  Y  f" ?! |, C+ g, E( D- H2 d2 c0 ]2 o/ m% w8 h
   --查看rbd池中的块设备) ?3 t* y3 l- u
  [root@ceph-mon1 ceph-cluster]# rbd ls --pool votpool
9 A) ]" C! X7 r6 Q6 E$ r  img_vot1
- T6 c0 M7 o  [5 K) [  img_vot2
4 U6 D" U( i  l, b7 K9 Q  img_vot39 T/ V  t1 Q- l  B# o" F

- F7 Z+ x3 P  m* a   [root@ceph-mon1 ceph-cluster]# rbd ls --pool asmpool& Q; `( W: x  ~3 Q; n2 V
   img_asm1
/ T( O! s$ b0 T9 L   img_asm21 [( c* r6 b7 C  ], B/ [
   img_asm3* R8 F' f0 P- s3 R9 f
   img_asm4
( v; ~! z; @1 y) m5 \   img_asm5
7 }- J* I& N" p6 b, E# _/ H; R' O9 F( k; D9 a1 N8 f' p. \* a
6.映射块设备
  ], o- ]3 S! {  这个必须在客户端节点上执行,比如ceph-rac1,ceph-rac2上执行.  P" N: ~2 F& m/ `" n

+ C% Z& _! v  K, w3 l, v   [root@ceph-rac1 ceph]#
# ?0 k4 Y5 b3 e0 k& G) z4 e2 T% w9 d/ q( x/ b( ?- O2 {4 B- K
   rbd map votpool/img_vot1   
/ l3 K! h* b8 I; f   rbd map votpool/img_vot2   
4 f* |  |$ t1 b' r$ m/ i   rbd map votpool/img_vot3   
" s9 K+ ^% B) |  B4 n' O   rbd map asmpool/img_asm1     
9 @: P# ^& U3 V0 b* T   rbd map asmpool/img_asm2
  B4 B- [$ d* T6 J0 W   rbd map asmpool/img_asm39 H# u5 K* o& Q2 D
   rbd map asmpool/img_asm47 ^& W: q! |7 v$ l$ p% F  z
   rbd map asmpool/img_asm57 ^  g# A  ~% ]1 V$ {( c! I( b

9 k0 B4 f( Z" r+ E6 s3 l   这个时候,我们通过lsblk上,可以看到新的块设备了:, c/ t% d; F$ E% J* E
   [root@ceph-rac1 ~]# lsblk- G8 X2 [8 N3 {5 p4 [
   NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT. |: I0 z8 \! k& ~% q
   sda               8:0    0  100G  0 disk2 ?5 r9 w; F$ a8 [3 H2 P% o$ O2 B
   ├─sda1            8:1    0    1G  0 part /boot
( y9 k8 S* k& Y+ X& z3 i) o   └─sda2            8:2    0   99G  0 part8 M6 O2 h* n6 x1 k. Z- R
     ├─centos-root 253:0    0   50G  0 lvm  /6 Q  J* b( p9 j% S* I6 j7 |  e
     ├─centos-swap 253:1    0    2G  0 lvm  [SWAP]4 \$ k" D6 l: x3 j
     └─centos-home 253:2    0   47G  0 lvm  /home4 T) `# T8 i: x" @: j% H

* b! e$ z; s( ^5 V3 G0 G9 o   rbd0            252:0    0    1G  0 disk, B9 _1 l" ~2 A* u8 j& c6 r2 }
   rbd1            252:16   0    1G  0 disk7 R- `' ~; ?- c# l4 H; N; X# M
   rbd2            252:32   0    1G  0 disk
. h& T6 l' E' G4 \! y   rbd3            252:48   0    2G  0 disk+ z3 d' D* x4 w" g2 j% C! y
   rbd4            252:64   0    2G  0 disk( h; U0 S/ `5 K2 V: D
   rbd5            252:80   0    2G  0 disk
* _  W# W9 q$ P   rbd6            252:96   0    2G  0 disk
" y2 V3 m# {1 @. E/ Y   rbd7            252:112  0    2G  0 disk   
* {. K. ^6 O5 Z; e3 n
- I2 L$ c. F7 Q. e; }5 z  --要查看这个对应关系:
/ x) ?4 R% h0 s: G5 \8 p9 |7 J" R& u+ u/ }/ Y' y% R/ T
  [root@ceph-oracle ~]# rbd showmapped* l9 w5 Q! k1 G
  id pool    image    snap device   . o7 |1 z, |9 Y1 ~3 D
  0  votpool img_vot1 -    /dev/rbd0
: V2 j& [3 v8 D+ r' B( W: V+ h  1  votpool img_vot2 -    /dev/rbd1
& u1 k/ u, f% P0 A2 w( c  2  votpool img_vot3 -    /dev/rbd2* A: P; j7 r% Y: ?8 Y
  3  asmpool img_asm1 -    /dev/rbd3
* T" C8 N" V8 i! W5 ?0 F; P: q  4  asmpool img_asm2 -    /dev/rbd4' r' I' \6 l$ Q5 S4 M# R
  5  asmpool img_asm3 -    /dev/rbd5
, z$ Z2 |$ w. I7 ?/ L* ^  6  asmpool img_asm4 -    /dev/rbd60 _- [. r# H0 X
  7  asmpool img_asm5 -    /dev/rbd72 x9 J+ D2 \. t. X

; }: v+ v) x3 |( @$ m7.修改权限  o! G  W" m/ I" R5 F
  这个块设备,每次重起,权限都会变回root:root
" I% P8 O. n6 D$ ]+ E7 p% r  而且,这个对照也必须手工重起映射.& }' t8 a* p- s+ t! J
  因此,我们可以在 /etc/rc.local中,对应权限和映射,都写在里面* A+ H8 d" w( z
6 p: M$ Z0 Z" Z9 l1 ], G& @; o* j
  [root@ceph-rac1 ~]# cat /etc/rc.local/ c( T6 @+ q! \0 d/ y6 |" w) f
#!/bin/bash
2 i( j6 A* s+ Y, Y* \' v# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES2 |- G5 A( @( }, D5 c( r
#1 |& O: x- U% h& v' Z1 v
# It is highly advisable to create own systemd services or udev rules
9 p0 u, s7 N$ M5 J; t4 r( w9 }8 _# to run scripts during boot instead of using this file.
$ B; m- S% J8 G7 v#2 {/ h$ H. O7 L' D5 Y
# In contrast to previous versions due to parallel execution during boot1 ~, p/ P' k8 C7 v, h. F8 m
# this script will NOT be run after all other services.' N/ l" m2 X" t; E) h
#6 B7 O$ R, h" c0 A, K; s4 x, R
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
5 s3 d0 k. [( f# V; e& {# that this script will be executed during boot.
) T( g  Y* D7 {2 H; H2 r, ^" Ntouch /var/lock/subsys/local- i6 C" Z, K$ q, ?* a9 N9 B- y
rbd map votpool/img_vot1   ! @; W6 K- A) T4 v! h8 ^* j: t0 ]
rbd map votpool/img_vot2   
" m: T" f, G/ [) U. Yrbd map votpool/img_vot3   : v9 f& u2 x0 r$ D
rbd map asmpool/img_asm1     , j+ R7 E2 U- [& E
rbd map asmpool/img_asm2
7 |! G" q3 b; [" s9 Y" Rrbd map asmpool/img_asm3+ q4 b# [1 Y) l; W5 Y& a# S) S  R9 G
rbd map asmpool/img_asm4# ^0 k5 K$ C' ]& P8 ^
rbd map asmpool/img_asm5
' U( \. n  L* i1 dchown oracle:dba /dev/rbd*
3 b# l6 J0 t* b: dchmod 660 /dev/rbd*; D: x0 q- ^1 y: L+ c

  [, e  A5 r! ?) ~( Q( U  o! `8 s( `
编辑完后,执行以下语句,否则,系统重起,不会执行/etc/rc.local
  t* s8 k# S5 E* S1 dchmod +x /etc/rc.d/rc.local
/ {2 i0 _- Q" D5 F" {
% Z% Y% B  a' P0 v8 \& p之后,每次启动后,映射和权限对应都会自动修改.
' R3 _; f7 y$ x; [6 ~+ Q; K7 f9 \0 }
3 s7 Y- x: x0 D" s& w; e8.安装rac
4 i' `& y! P7 h) F0 u  具体安装步骤略& Q( e, ]: u0 m) q! d2 h9 U$ A5 y
  安装过程和普通的rac安装没有任何差别.
7 q4 I4 ^* b. j; k3 D9 ~/ ^5 ~9 O( n& u
  磁盘的对应关系:" x: z" ~% t: S. R
  /dev/rbd0    dgocr
3 I( M" R" Q, c( B/ ]  /dev/rbd1    dgocr  s2 U6 U2 U/ n8 Y6 \: G
  /dev/rbd2    dgocr( K3 r5 @: k) C- R! J
3 s- }. C* F( }/ n
  /dev/rbd3    dgdata
3 d* ?6 X1 S, z  /dev/rbd4    dgdata
5 z6 z  `6 F* a$ Z+ e  /dev/rbd5    dgdata
2 T" {$ O. t6 \' w* i' R8 M  /dev/rbd6    dgdata
* w/ A% {# v8 n" o  /dev/rbd7    dgdata% V$ d0 m, H; \& E" Z3 h
' t! x2 N9 [' D$ m6 u. t
9.安装完成:  n& A4 [" t/ N9 ]4 n
    1* select name,path,os_mb from v$asm_disk
( _1 a; }0 q8 g+ YNAME                           PATH                                OS_MB# @1 [& ~$ t8 J, L0 t( u
------------------------------ ------------------------------ ----------! F" }8 p0 j$ W
DGDATA_0004                    /dev/rbd7                            2048
9 G1 W5 x+ k  g3 V5 YDGDATA_0003                    /dev/rbd6                            2048  }$ r) _0 f' [) ~5 s. P. O2 n
DGDATA_0002                    /dev/rbd5                            2048
8 T/ i3 ?+ ^7 C2 nDGDATA_0001                    /dev/rbd4                            20488 E# Z* d4 a  p4 k1 j- N, v$ x
DGDATA_0000                    /dev/rbd3                            20480 h( j! F5 T' S" h  R: y# C
DGOCR_0002                     /dev/rbd2                            1024' A1 r! ?* w) M& q3 V" C
DGOCR_0001                     /dev/rbd1                            10246 v" p4 P; U0 T7 ^( r$ f# N0 @
DGOCR_0000                     /dev/rbd0                            1024% A5 E' w( ]" [# y5 V
1 ]( ]1 p* N; x5 w6 Y1 Q/ f
资源状态:
+ z3 V! g- L' X! T[oracle@ceph-rac1 ~]$ crsctl stat res -t; {8 V- t; E# s
--------------------------------------------------------------------------------
, ~6 |) \7 y  w" iNAME           TARGET  STATE        SERVER                   STATE_DETAILS      ' ]  L4 h) \* }$ @2 o. |1 P
--------------------------------------------------------------------------------  O+ \- V+ ]0 p* k7 [9 ~4 D
Local Resources
) H8 m6 L2 K; D" R--------------------------------------------------------------------------------
) j4 v, X6 _, `1 Mora.DGDATA.dg9 ]6 ?. W, W- k" o
               ONLINE  ONLINE       ceph-rac1                                    ( l: \( ?8 `+ v1 C9 |( ^
               ONLINE  ONLINE       ceph-rac2                                    
  p) i" ]' f. u% ~7 o) s) Vora.DGOCR.dg
1 K7 s3 y  V) u4 E- y8 w; Y- [               ONLINE  ONLINE       ceph-rac1                                    " b: I! U& y1 O% _. Y7 M8 i
               ONLINE  ONLINE       ceph-rac2                                    . o2 G. Z/ I! e8 Z. e- ?
ora.LISTENER.lsnr
0 D2 W* w: W' I/ j( e3 C               ONLINE  ONLINE       ceph-rac1                                    
* _% }/ a. {- X               ONLINE  ONLINE       ceph-rac2                                    $ B! G1 a2 Q4 m6 a
ora.asm
+ l5 J: W1 `) n: w3 q               ONLINE  ONLINE       ceph-rac1                Started            
4 U+ C( u; q* F- z% R% Y/ u               ONLINE  ONLINE       ceph-rac2                Started            
  v# `2 N8 j& v7 c& |ora.gsd
' B( G* N+ D! d9 A( k/ W# C               OFFLINE OFFLINE      ceph-rac1                                    ( x  b( c7 H" _2 D. J
               OFFLINE OFFLINE      ceph-rac2                                    
9 y/ `, J/ K, s& {% x5 |8 Jora.net1.network
. d6 n$ M* L  S1 |: _' g               ONLINE  ONLINE       ceph-rac1                                    
- l* I9 w* z) {4 B, L7 f               ONLINE  ONLINE       ceph-rac2                                    
  l; y! Y: P( M7 V3 M5 Nora.ons
# I3 b4 f; B, A3 v& s- o               ONLINE  ONLINE       ceph-rac1                                    : c* E5 B/ n) N" v6 V$ O
               ONLINE  ONLINE       ceph-rac2                                    
% e3 P, w  B% Y--------------------------------------------------------------------------------# V9 o1 p& d+ y. {: z8 z
Cluster Resources
: @/ C  B" r6 W2 J--------------------------------------------------------------------------------
9 e1 S! g/ s1 P' Q! ^+ ^/ uora.LISTENER_SCAN1.lsnr) z: K$ |, o1 W3 E2 J
      1        ONLINE  ONLINE       ceph-rac1                                    
+ J' H9 a: `  o0 Cora.ceph-rac1.vip
6 G$ q- b, Z! F! k; c      1        ONLINE  ONLINE       ceph-rac1                                    , m% }! H, k' N$ \) s. I8 W
ora.ceph-rac2.vip
* g( P  l1 X  [( o      1        ONLINE  ONLINE       ceph-rac2                                    , c9 M* j  ]7 C. c  a
ora.cvu0 Y! J$ n- ]" F8 U
      1        ONLINE  ONLINE       ceph-rac1                                    & E- \. i3 D. z  |/ w& z
ora.oc4j
9 m" Z3 r! P& [4 ~6 q- \' c4 X      1        ONLINE  ONLINE       ceph-rac1                                    
$ }/ r$ W) H7 m( A8 P9 Y* ~( Z9 lora.scan1.vip
' ~9 r' ]8 ~' g9 g      1        ONLINE  ONLINE       ceph-rac1                                    
; j! r  D6 e  y* n7 o7 dora.sztech.db5 I4 u" P8 d( B# L6 \. S2 i
      1        ONLINE  ONLINE       ceph-rac1                Open               ; w; \% Y" t; [8 `
      2        ONLINE  ONLINE       ceph-rac2                Open
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:12 , Processed in 0.024321 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表