数据库收缩数据文件的尝试(三)(r11笔记第22天)

简介:   不知道大家在数据库运维中是否会有这样的困扰,一个数据文件里没有多少数据,但是数据文件的大小却调不下来,尝试使用resize来调整屡屡失败。如果一个数据文件里有很多的小表,存在大量这样的碎片表,虽然我们从前端看不到,但是如果查看存储结构就会发现还是挺混乱的。

  不知道大家在数据库运维中是否会有这样的困扰,一个数据文件里没有多少数据,但是数据文件的大小却调不下来,尝试使用resize来调整屡屡失败。如果一个数据文件里有很多的小表,存在大量这样的碎片表,虽然我们从前端看不到,但是如果查看存储结构就会发现还是挺混乱的。

    本质上来说,Oracle也不希望我们去刻意处理这些物理存储方面的设置,比如设定某个表一定存放在某个数据文件里,一个表空间里存在10个数据文件,一条insert语句运行下去,到底数据进了哪个数据文件,应该不需要DBA刻意去关心,而且Oracle也没提供这样的数据字典来告诉你,所以我们查看的最细粒度的存储数据字典是dba_extents,而没有db_blocks当然Oracle给了你一把钥匙,那就是ROWID。通过ROWID我们可以得到很多未曾发现的问题和可能性。

    我们换一个问法,在一个事务中是否会改变ROWID?

如果是普通的增删改操作,基于主键,基于数据变化,肯定是无法改变ROWID,因为ROWID本身就是一个伪列,这个伪列的效果本质上其实比主键还要给力,查询效率还要高。

    如果我要做这样一个操作,表test的数据量不大在5万条,分布在6,7,8三个数据文件上,如果我们新建一个数据文件9,希望把这些数据都迁移到9号数据文件,而且希望保证高可用的情况下,是否可以实现?

   在这个场景中,我们就可以充分利用ROWID来玩一玩了。

我们创建一个临时中转的表,比如表名为test,则中转的临时表为tmp_test

把表test在8号数据文件里的数据筛查出来插入临时的中转表tmp_test

insert into  test.tmp_test  select * from test.test where dbms_rowid.rowid_relative_fno(rowid)=8
100 rows created.然后删除已有的表test在8号数据文件的数据delete from test.test where dbms_rowid.rowid_relative_fno(rowid)=8;
100 rows deleted.注意此处,这里是一个事务,对于事务外的应用数据的查询还是可以满足一致性的需求。
但是因为表里的数据量很小,所以这个过程造成的阻塞时间会很短。

然后把数据插入

insert  /*+append*/ into  mbi.test select *from test.tmp_test;
100 rows created.

完成之后就是提交commit

当然如果我们要求数据要放在指定的数据文件里,而不是根据数据的增长情况增量的放置,可以使用allocate的方式来处理,比如指定数据放入9号数据文件中。

alter table  test allocate extent (size 1M datafile  '/U01/app/oracle/oradata/test/test_data09.dbf');

操作之后还是需要验证一下,原来的数据文件里确实是不存在那些数据了。

select count(*)  from test.test where dbms_rowid.rowid_relative_fno(rowid)=8;
  COUNT(*)
----------
         0

这些数据还是在临时的表里可以查到,确认无误之后就可以直接drop了。

select count(*)  from test.tmp_test;
  COUNT(*)
----------
        100当然一个数据库的数据量非常大,存在上百个这样的数据文件有没有什么简洁的方法来统一处理呢。其实是有的。采用的思路就是今天分享的内容,不过后面补充了一些更多的验证和场景补充。能够达到的一个基本效果就是可以一键式部署,感兴趣可以私聊,我近期也会把脚本开放出来。

目录
相关文章
|
23天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之文件存在但是数据库提示文件不存在如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
25天前
|
存储 Oracle 关系型数据库
Dataphin常见问题之想要周期执行任务如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
28天前
|
Go 数据库
数据库的实现【笔记】
数据库的实现【笔记】
12 0
|
28天前
|
数据库
数据库设计【笔记】
数据库设计【笔记】
11 0
|
1月前
|
SQL 开发框架 JavaScript
在 Vue 中进行数据持久化时,有哪些常用的数据库框架?
在 Vue 中进行数据持久化时,有哪些常用的数据库框架?
48 3
|
29天前
|
SQL Java 数据库连接
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
17 0
|
2天前
|
存储 关系型数据库 MySQL
如何处理爬取到的数据,例如存储到数据库或文件中?
处理爬取的数据,可存储为txt、csv(适合表格数据)或json(适合结构化数据)文件。若需存储大量数据并执行复杂查询,可选择关系型(如MySQL)或非关系型(如MongoDB)数据库。以MySQL为例,需安装数据库和Python的pymysql库,创建数据库和表,然后编写Python代码进行数据操作。选择存储方式应考虑数据类型、数量及后续处理需求。
5 1
|
2天前
|
SQL 关系型数据库 MySQL
关系型数据库插入数据的语句
使用SQL的`INSERT INTO`语句向关系型数据库的`students`表插入数据。例如,插入一个`id`为1,`name`为'张三',`age`为20的记录:`INSERT INTO students (id, name, age) VALUES (1, '张三', 20)。如果`id`自增,则可简化为`INSERT INTO students (name, age) VALUES ('张三', 20)`。
5 2
|
3天前
|
SQL 存储 Oracle
关系型数据库查询数据的语句
本文介绍了关系型数据库中的基本SQL查询语句,包括选择所有或特定列、带条件查询、排序、分组、过滤分组、表连接、限制记录数及子查询。SQL还支持窗口函数、存储过程等高级功能,是高效管理数据库的关键。建议深入学习SQL及相应数据库系统文档。
6 2
|
9天前
|
人工智能 Cloud Native 算法
数据之势丨AI时代,云原生数据库的最新发展趋势与进展
AI与云数据库的深度结合是数据库发展的必然趋势,基于AI能力的加持,云数据库未来可以实现更快速的查询和决策,帮助企业更好地利用海量数据进行业务创新和决策优化。
数据之势丨AI时代,云原生数据库的最新发展趋势与进展