海量数据迁移之通过shell估算数据量(r2笔记93天)


在数据迁移的时候,需要根据用户量来评估需要在表空间理添加的空间大小。比如迁移5百万的用户和迁移200万,两者需要添加的数据量差别很大,在资源有限的情况下,需要一些比较合理的估算,毕竟在生产环境中做数据加载的时候报了空间不足的问题就是准备太不充分了,稍后的数据修复任务就难上加难。 比如我们现在客户提供了如下的信息,需要我们评估一下在目前的用户基础上迁移几百万用户需要添加的空间。 表空间假设是如下的存储情况。DATA开头的表空间存放表数据,INDX开头的表空间存放索引数据。

Tablespace

Init extent

Total MB

Free MB

Used MB

--------------------

----

------------

----------

-----------

DATAH01

16M

572,113

135,408

436,705

DATAL01

8M

216,179

141,360

74,819

DATAM01

4M

291,840

85,280

206,560

DATAS01

1M

302,080

74,508

227,572

INDXH01

4M

174,033

96,256

77,777

INDXM01

2M

141,312

56,812

84,500

INDXS01

128K

240,640

72,241

168,399

sum

1,938,197

661,865

1,276,332

现在得到的是整个数据库的存储情况。用户说现在库里还有600G左右的空间,让我们评估一下再迁移几百万的用户的情况需要多少空间。 比如数据库里用到的表有1000张,可能做数据迁移的时候关联的表只有100张。那么我们不能按照如下的比例来做计算。 10%*total_size*新添加的用户占用的比率 这样肯定是不科学的,而且估算的空间肯定是偏小的。 比如memo这一个表就80多个G,按照百分比计算就会出问题。 TABLE_NAME SIZE_MB TABLESPACE_NAME ------------------------------ ---------- ------------------------------ MEMO 81613 DATAS01 而从客户的角度出发,他们需要的结果类似下面的表格内容。 如果提供了如下的表格,客户一看就一目了然,大概需要添加多少的空间。

INDEX_SIZE

TOTAL_SIZE

INDXH01

INDXM01

INDXS01

sum

306093

62836

57302

185392

TABLE_SIZE

TOTAL_SIZE

DATAH01

DATAL01

DATAM01

DATAS01

sum

546981

132944

72400

126508

215129

我采用了如下的两个shell脚本来做计算。 如下的脚本计算存放表数据的表空间的数据量 我们假设我们有一个文件,里面是数据迁移中用到的表清单,取名为tablst,然后通过如下的脚本来做计算。

awk '{print "'''" $1 "'''" ","}' tablst |sed -e '/^$/d' -e '$s/.$//' > tablst.temp
table_list=`cat tablst.temp`
sqlplus -s  xxxxxxx <<EOF
set linesize 200
set pages 100
col table_name format a30
break on report
compute sum of total_size on report
compute sum of INDXH01 on report
compute sum of INDXM01 on report
compute sum of INDXS01 on report
select table_name,
 sum(size_MB) total_size,
 sum(decode(tablespace_name,'INDXH01', size_MB,0)) INDXH01,
 sum(decode(tablespace_name,'INDXM01', size_MB,0)) INDXM01,
 sum(decode(tablespace_name,'INDXS01', size_MB,0)) INDXS01
from (select idx.table_name, round(sum(seg.bytes/1024/1024)) size_MB,seg.tablespace_name from  user_segments seg,user_indexes idx where seg.segment_name=idx.index_name and  idx.table_name='MO1_MEMO' group by idx.table_name,seg.tablespace_name)
group by table_name;
EOF
rm tablst.temp

假设我们我们计算3个表。MEMO,CHARGE,CHARGE_REL,运行脚本后我们得到如下的清单,就很清楚的看到,哪些表占用了多少空间,在哪个表空间。 TABLE_NAME TOTAL_SIZE DATAH01 DATAL01 DATAM01 DATAS01 ------------------------------ ---------- ---------- ---------- ---------- ---------- CHARGE 104720 104720 0 0 0 MEMO 81613 0 0 0 81613 CHARGE_REL 12672 12672 0 0 0 ---------- ---------- ---------- ---------- ---------- sum 199005 117392 0 0 81613 通过如下的脚本来估算索引的表空间使用情况。

awk '{print "'''" $1 "'''" ","}' tablst |sed -e '/^$/d' -e '$s/.$//' > tablst.temp
table_list=`cat tablst.temp`
sqlplus -s  xxxxxxx  <<EOF
set linesize 200
set pages 100
col table_name format a30
break on report
compute sum of total_size on report
compute sum of DATAH01 on report
compute sum of DATAH01 on report
compute sum of DATAL01 on report
compute sum of DATAM01 on report
compute sum of DATAS01 on report
select table_name,
 sum(size_MB) total_size,
 sum(decode(tablespace_name,'DATAH01', size_MB,0)) DATAH01,
 sum(decode(tablespace_name,'DATAL01', size_MB,0)) DATAL01,
 sum(decode(tablespace_name,'DATAM01', size_MB,0)) DATAM01,
 sum(decode(tablespace_name,'DATAS01', size_MB,0)) DATAS01
from (select segment_name table_name, round(sum(bytes/1024/1024)) size_MB,tablespace_name from  user_segments where segment_name in ($table_list) group by segment_name,tablespace_name)
group by table_name;
EOF
rm tablst.temp

运行后得到的如下的一个清单,就可以看到表对应索引的存储情况。
TABLE_NAME                     TOTAL_SIZE    INDXH01    INDXM01    INDXS01
------------------------------ ---------- ---------- ---------- ----------
CHARGE                          27004      21620          0       5384
  CHARGE_REL                  28868      28868          0          0
MEMO                            33999          0          0      33710
                          ---------- ---------- ---------- ----------
sum                                 89871      50488          0      39094

得到了如上的列表,需要评估数据量的情况就有思路了。
可以基于当前数据库中的剩余空间来排查目前的空间是否足够,如果不够需要添加多少。

Tablespace

Init extent

Total MB

Free MB

Used MB

--------------------

----

------------

----------

-----------

DATAH01

16M

572,113

135,408

436,705

DATAL01

8M

216,179

141,360

74,819

DATAM01

4M

291,840

85,280

206,560

DATAS01

1M

302,080

74,508

227,572

INDXH01

4M

174,033

96,256

77,777

INDXM01

2M

141,312

56,812

84,500

INDXS01

128K

240,640

72,241

168,399

sum

1,938,197

661,865

1,276,332

得到一个基本的清单,我们就需要加入一定的buffer空间,个人觉得控制在30%左右比较好。这样留有一定富余。 最后给客户的建议就是如下的清单,客户一看就一目了然。

INDXM01 +50G

INDXS01 +100G

DATAM01 +50G

DATAS01 +100G

TinyMind推荐课程:CNN卷积神经网络(Python深度学习实战系列)

腾英科技董事长周北老师亲授,学习地址:点此进入学习


长按二维码向我转账

受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。

    阅读
    好看
    已推荐到看一看
    你的朋友可以在“发现”-“看一看”看到你认为好看的文章。
    已取消,“好看”想法已同步删除
    已推荐到看一看 和朋友分享想法
    最多200字,当前共 发送

    已发送

    朋友将在看一看看到

    确定
    分享你的想法...
    取消

    分享想法到看一看

    确定
    最多200字,当前共

    发送中

    网络异常,请稍后重试

    微信扫一扫
    关注该公众号