找回密码
 注册
查看: 97|回复: 2

hadoop 清理hbase相关数据

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2025-3-11 17:00:01 | 显示全部楼层 |阅读模式
/vdata/software/hbase/bin/hbase shell                                                                                                                                                                                                                                                                                                                                                                                                                # T9 |( G& ~% `# [1 G
SLF4J: Class path contains multiple SLF4J bindings.                           
% L  Z& d/ d% V5 @2 shbase(main):001:0> list                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  
: P8 r7 T& u6 i8 R! d& k, R  v6 `TABLE                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               
) ~, j" _. y) M/ S1 R3 t4 ]2 W& ~% dpinpoint:AgentEvent                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         - X+ ?8 V0 k0 b- ^. i8 c" O( _
pinpoint:AgentInfo                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               2 Q: A6 C' j/ x5 V- K" y
pinpoint:AgentLifeCycle                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
; ~+ N9 W0 }3 o, G* u/ a4 f4 [pinpoint:AgentStatV2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
5 Z9 U! D; v8 F0 ~, \  t2 U; w. ~6 I- `pinpoint:ApiMetaData                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
( ?" A. o% V* ^" a0 Xpinpoint:ApplicationIndex                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
! b! ?" e+ m0 V& _5 j* C0 _! Zpinpoint:ApplicationMapStatisticsCallee_Ver2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
% q+ @: ], z$ b, tpinpoint:ApplicationMapStatisticsCaller_Ver2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     " o3 H: U" m" A, d0 O
pinpoint:ApplicationMapStatisticsSelf_Ver2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         
% j& Y: V) g% lpinpoint:ApplicationStatAggre                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              
( G: ]% v! i7 r9 p, ~3 W7 gpinpoint:ApplicationTraceIndex                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          
) i, Y2 g- z5 ^pinpoint:HostApplicationMap_Ver2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      
1 z1 m6 o# {  M* e8 d+ B$ c8 \* \pinpoint:SqlMetaData_Ver2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 # R! L4 t, K& t- F$ t# u2 ]7 E
pinpoint:StringMetaData                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
' g2 O4 n9 N" o7 ?# {pinpoint:TraceV2                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     * }9 l# ^1 a/ T4 {- \0 S
15 row(s)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
& n( ~0 b% z, x7 x: F- Q, R. tTook 0.3029 seconds                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
0 x4 e6 y" v3 O5 I9 L7 ?: E  [% o' _=> ["pinpoint:AgentEvent", "pinpoint:AgentInfo", "pinpoint:AgentLifeCycle", "pinpoint:AgentStatV2", "pinpoint:ApiMetaData", "pinpoint:ApplicationIndex", "pinpoint:ApplicationMapStatisticsCallee_Ver2", "pinpoint:ApplicationMapStatisticsCaller_Ver2", "pinpoint:ApplicationMapStatisticsSelf_Ver2", "pinpoint:ApplicationStatAggre", "pinpoint:ApplicationTraceIndex", "pinpoint:HostApplicationMap_Ver2", "pinpoint:SqlMetaData_Ver2", "pinpoint:StringMetaData", "pinpoint:TraceV2"]                                                                                                                                                                                                           
$ X* H3 C, }7 a6 K/ f9 |hbase(main):002:0>                                                                                                                                                                                                                                                                                                                                                                                                      5 H1 _# |  {, ?5 S8 u, a& \0 N
hbase(main):003:0> compact 'pinpoint:AgentStatV2'                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
: A$ X3 n. }2 j# MTook 1.0937 seconds                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  ) M, t6 B# |0 c% J: o$ v
hbase(main):004:0>                          
) f$ B' X0 y  X7 Qhbase(main):005:0>  list_snapshots                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            & R* x$ i' J. w- ?8 z
SNAPSHOT                                         TABLE + CREATION TIME                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         ; i5 G. v+ c0 o; c+ t* c
0 row(s)                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
% Q0 u( I* g8 l7 U) cTook 0.0139 seconds                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          
3 S/ q6 |1 c; Q! _$ @" R+ o7 X4 n=> []                                                                             
9 ^! P/ k' y$ o2 m* x8 Q
+ P, f4 ?9 h5 ]- E9 c' d% `' ]7 E! y

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2025-3-11 17:00:02 | 显示全部楼层
[devops@hadoop1 data]$ pwd                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
) R/ j2 V) }4 r9 d/vdata/software/hbase/hbase_data/archive/data                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
8 w# v3 U+ r- z[devops@hadoop1 data]$ cd ..                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    
" M$ J3 o/ Q; C# J( U( Q& \6 c) l, R[devops@hadoop1 archive]$ cd ..                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 
$ F+ a0 J! E; \) e[devops@hadoop1 hbase_data]$ cd ..                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              . N9 d; Y9 z/ P  Y
[devops@hadoop1 hbase]$ cd bin/                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 ; `# p* [+ |" l7 ?$ ]4 z
[devops@hadoop1 bin]$ ls                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        5 x: {/ b" a+ w$ Z
considerAsDead.sh     hbase             hbase-config.cmd  hbase-jruby             master-backup.sh  replication               start-hbase.sh            test                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    
0 J" Q" j9 A# Odraining_servers.rb   hbase-cleanup.sh  hbase-config.sh   hirb.rb                 region_mover.rb   rolling-restart.sh        start-hbase-zookeeper.sh  zookeepers.sh                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           7 Y% V- B- V/ w' A/ R, k
get-active-master.rb  hbase.cmd         hbase-daemon.sh   local-master-backup.sh  regionservers.sh  shutdown_regionserver.rb  stop-hbase.cmd                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    * y  W* Y& m% @5 P) @0 ]6 x
graceful_stop.sh      hbase-common.sh   hbase-daemons.sh  local-regionservers.sh  region_status.rb  start-hbase.cmd           stop-hbase.sh                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     . ?) O( C% i& S
[devops@hadoop1 bin]$ more hbase-                                      
9 J/ o2 Y. A6 }/ y
: y: G+ j- G% E  \
( k, V9 N* x* h) z1 ][devops@hadoop1 bin]$ pwd
/ ~7 A  j1 @! F' ]1 O3 j& i/vdata/software/hbase/bin4 {$ g- Z( b3 ?: t0 Y% ?
[devops@hadoop1 bin]$
; Q1 {! n6 z8 c" I
2 G. G# ~8 ^) v9 f8 E' C- y7 U- L) j) N% e# I5 \* O" x

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2025-3-11 17:00:03 | 显示全部楼层
使用hbase shell
6 l" s5 {; }7 ^, c: q3 T, a6 v7 S8 O5 S) O2 v0 v+ ?+ T* I4 \
打开终端,进入hbase shell 环境:
9 V" U2 s( r& @% j" L7 Thbase shell
0 u7 v) r7 R( y- P9 y! _& ?4 L0 ]
进入hbase shell 之后,首先禁用表格的自动flush功能,以提高清空效率:+ m+ i0 \% J  K! b1 D5 z
' q5 ^1 ?2 K* c2 ^' W
hbase> disable  'table_name'+ I! A$ x- \% f; I
- v) X% M% J" v/ ^- |9 |) C7 F
hbase> alter 'table_name',{NAME => 'cf' ,METHOD => 'table_att','MAX_FILESIZE' => '0'}3 v! F+ ~5 W# O' E
1 i7 V6 T) F; a/ S& G
清空表格中的数据:) D8 ]; a" o* S4 P; J
    hbase >truncate 'table_name'% e# k: I, E$ y$ V8 L& ^7 q2 C

8 X/ `( m! E+ @) h) A' h启动用表格的自动flush功能:
5 c' T9 r; j& B- g8 D* {: Khbase> enable  'table_name'  / `+ d8 `0 s) t+ s
8 f* ~# h6 t3 t5 G& @' k6 U+ [
$ h' J, y0 W# @  M1 ]7 r- W7 P" G/ ]
以上就清空hbase的表格数据了。% V! R& f  U$ W/ c+ e5 T; r
0 \* O& N/ Y  i' T: J# X
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 01:43 , Processed in 0.019261 second(s), 22 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表