SQL Server 数据库文件管理

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介:

       SQL Server 数据库文件管理

杜飞

       2014年,注定要和数据库打交道,陆续接到的任务都是和数据库管理相关的,某民航系统的数据库优化、某地产企业的数据库高可用、某手机连锁企业的数据库读写分离,某快捷连接企业的数据库迁移,一下子感脚2014怎么了?于是,准备就数据库的管理写几篇文章,今天算是开篇吧。

       关于数据库文件的管理问题,我经常说,常在江湖混,哪有不挨棍,用的时间长了,基本上都有遇到一些数据库文件管理上的问题,比如说:

1. SQL Server数据文件空间满

2. 日志文件暴涨

3. 文件不能收缩

4. 如何实现文件的自动增长和自动收缩

      这篇文章就围绕这些问题展开,当然要想熟练的对数据库空间进行管理,需要先了解一下相关的理论知识。首先,我们先来看一下数据文件的空间管理。

数据文件空间管理

       每个 SQL Server 数据库至少具有两个操作系统文件:一个数据文件和一个日志文件。  数据文件包含数据和对象,例如表、索引、存储过程和视图。 日志文件包含恢复数据库中的所有事务所需的信息。 为了便于分配和管理,可以将数据文件集合起来,放到文件组中。在SQL Server中数据存储的基本单位称为页。每页是8KB,SQL Server读取或者是写入数据的最小单位也是页,那么1MB就有128页。行不能跨页(页的单个行最大数量是8,060字节8kb 1024*8),不包括Text/Image类型的页数据,对于可变长类型的列,如果行超过8060,则从最大长度的列开始,将一个或多个可变长度列移动到ROW_OVERFLOW_DATA分配单元中的页,在原始页上维护一个24字节的指针,如果行的总大小小于8060,就再移回来.执行查询等操作时将延长处理时间,因为这些记录将同步处理,而不是异步。

如下图所示:

image

      但还有另一个概念,大家要知道,叫做区,区是指8个物理上连续的页的集合,如果这8个物理上连续的页属于同一个表,则这种区称为统一区,如果这8个页分别属于至少两个不同的表。则这种区称为混合区。

image

     虽然每个页有8KB,但并不是说这8KB都用来存放具体数据,每页的开头有一个96字节的页头,用来存储有关页的系统信息,例如:页码、页类型、页的可用空间以及拥有该页的对象ID(也就是这个页是哪个对象在用)。不同类型的数据,存放在不同类型的页里面。如下图所示,就显示了数据文件中各种页类型以及它们里面存放的内容:

image

       在这里面,我们用到较多的页是Data和Text/Image类型,而在一个数据文件的开头则分布很多管理页面如:GM、SGAM、PFS。SQL Server通过这些页面知道这个数据文件中的哪些页面已经使用,哪些页面还没有使用等。

      当一张表或一个索引需要更多的空间时,SQL Server需要找到能够用来分配的空间。如果该表或索引整体仍然少于8个页面,SQL Server必须找到能够用来分配的混合类型区构成的空间。如果表或索引有8个页面或更大,SQL Server必须找到一个自由的统一类型的区。那么SQL Server就需要知道区已经分配出去,哪些区可以使用,这就要用到全局分配映射页面和共享全局分配映射页面,简称为:GAM/SGAM。

     GAM记录了哪些区已经被分配并用作何种用途。一个GAM页面在它所覆盖空间里针对每一个区都有一个数据位。如果为1,则为空闲区,可以用来分配,如果为0则该区已经被使用。GAM大约能标识64000个区,也就是4G的空间。如果超过4G,则再启用一个GAM页来标识下一个4G空间。

       SGAM记录了哪些区当前是混合区,并且至少有一个未使用的页面。它也能标识64000个区,大约4G空间。如果bit位标识为1,则说明它使用的是混合区并且至少有一个页可用来分配 。如果为0,则说明是统一区,或者是混合区,但已经没有空闲页面。

       那么SQL Server可以很方便地查找需要的页面,如需要一个新的完全没有使用的区,那么可以使用任何一个在GAM页面中对应的比特位值为1的区。如果需要找到一个有着可用空间,如一个或多个自由页面的混合类型的区,那么它可以寻找一个对应的GAM中的值为0、SGAM中的值为1的区。如果不存在有可用空间的混合类型的区,SQL Server会使用GAM页面来寻找一个全新的区并将其分配为混合类型的区,然后使用该区中的一页。如果根本没有自由区,那么这个文件已经满了。   

       SQL Server能够迅速地锁定一个文件中的GAM页面,因为它总是位于任何数据库文件的第三页上(页码为2)。SGAM页面是在第四页上(页码为3)。下一个GAM页面出现在第一个GAM页面(页码为2)以后的每511 230个页面中,并且下一个SGAM页面出现在第一个SGAM页面(页码为3)以后的每511 230个页面中。每一个数据库文件的页码为0的页面是文件头页面,并且每个文件仅有一页。页码0是头文件页,页码1是页面自由空间页(Page Free Space,PFS)。并且每一个数据库的前八个页面是固定不变的。

image

       下面,我们可以通过DBCC Page命令查看某一个数据库的页面信息,此命令的语法是:

       dbcc page(数据库名称|数据库ID,文件编号,页面编号,输出选项)

输出选项:0:默认值,输出缓冲区的标题和页面标题;1:输出缓冲区的标题、页面标题(分别输出每一行),以及行偏移量表;2:输出缓冲区的标题、页面标题(整体输出页面),以及行偏移量表。3:输出标题的同时,显示列值。

       但需要此命令之前,必须启用DBCC TRACEON(3604)。

image

一个完整的页面包含四个部分BUFFER、PAGE HEADER、DATA、OFFSET TABLE,分别表示缓存、页面的头部信息、数据和偏移表。

BUFFER:缓存部分,用于标识页在内存中的位置。

PAGE HEADER:页面头部信息,包括一些重要属性,如:m_pageid为页编号;m_headerversion为页头格式的版本;m_type为页的类型,如:1,表明是数据页,2为索引页,8为GAM页,9为SGAM页等;m_typeflagebits:类型标识位,基本上用不到;m_level为在B树结构中的层级,最底层的层级为0;m_flagbits为页的属性,如0x200表明页有checksum检查;m_prevpage和m_nextpage,在B树结构的同一层级数据页之间,互相通过m_prevpage和m_nextpage连接起来;m_slotcnt表明当前页中有多少条记录;m_freecnt表明当前页中还剩余多少 空间,以字节为单位。m_lsn表明当前页中的所有记录中,最后一个改变相对应的日志记录号。

DATA部分一般分为若干插槽号(Slot),如果是数据页或索引页的话,可以理解为一行记录,SQLServer通过文件号+页面号+插槽号用来唯一标识表中的每一条记录。但在GAM页中我们可以把Slot 0理解为GAM页的保留页,共计94个字节。

页的末尾是行偏移表,对于页中的每一行,每个行偏移表都包含一个条目。每个条目记录对应行的第一个字节与页首的距离。行偏移表中的条目的顺序与页中行的顺序相反。如下图所示:

imageimage

     我们可以看到第一个数据行,也就是上图中的最后一个记录,偏移量是96,这是因为正常好前面的是96个字节的头部,接下来正好是第一条记录,其他记录的分析,依次类推。




 本文转自 dufei 51CTO博客,原文链接:http://blog.51cto.com/dufei/1377630,如需转载请自行联系原作者


相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
相关文章
|
2天前
|
SQL Oracle 关系型数据库
sql语句创建数据库
在创建数据库之前,请确保你有足够的权限,并且已经考虑了数据库的安全性和性能需求。此外,不同的DBMS可能有特定的最佳实践和配置要求,因此建议查阅相关DBMS的官方文档以获取更详细和准确的信息。
|
13天前
|
SQL 算法 数据库
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
81 6
|
1天前
|
SQL 关系型数据库 MySQL
:“You have an error in your SQL syntax; check the manual that corresponds to your MySQL server versi
:“You have an error in your SQL syntax; check the manual that corresponds to your MySQL server versi
7 0
|
2天前
|
SQL 缓存 数据库
sql 数据库优化
SQL数据库优化是一个复杂且关键的过程,涉及多个层面的技术和策略。以下是一些主要的优化建议: 查询语句优化: 避免全表扫描:在查询时,尽量使用索引来减少全表扫描,提高查询速度。 使用合适的子查询方式:子查询可能降低查询效率,但可以通过优化子查询的结构或使用连接(JOIN)替代子查询来提高性能。 简化查询语句:避免不必要的复杂查询,尽量使SQL语句简单明了。 使用EXISTS替代IN:在查询数据是否存在时,使用EXISTS通常比IN更快。 索引优化: 建立合适的索引:对于经常查询的列,如主键和外键,应创建相应的索引。同时,考虑使用覆盖索引来进一步提高性能。 避免过多的索引:虽然索引可以提高查询
|
2天前
|
SQL XML 数据库
sql导入数据库命令
在SQL Server中,数据库导入可通过多种方式实现:1) 使用SSMS的“导入数据”向导从各种源(如Excel、CSV)导入;2) BULK INSERT语句适用于导入文本文件;3) bcp命令行工具进行批量数据交换;4) OPENROWSET函数直接从外部数据源(如Excel)插入数据。在操作前,请记得备份数据库,并可能需对数据进行预处理以符合SQL Server要求。注意不同方法可能依版本和配置而异。
|
9天前
|
SQL 安全 网络安全
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
IDEA DataGrip连接sqlserver 提示驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接的解决方法
19 0
|
10天前
|
SQL 数据库
数据库SQL语言实战(二)
数据库SQL语言实战(二)
|
10天前
|
SQL 关系型数据库 数据库
【后端面经】【数据库与MySQL】SQL优化:如何发现SQL中的问题?
【4月更文挑战第12天】数据库优化涉及硬件升级、操作系统调整、服务器/引擎优化和SQL优化。SQL优化目标是减少磁盘IO和内存/CPU消耗。`EXPLAIN`命令用于检查SQL执行计划,关注`type`、`possible_keys`、`key`、`rows`和`filtered`字段。设计索引时考虑外键、频繁出现在`where`、`order by`和关联查询中的列,以及区分度高的列。大数据表改结构需谨慎,可能需要停机、低峰期变更或新建表。面试中应准备SQL优化案例,如覆盖索引、优化`order by`、`count`和索引提示。优化分页查询时避免大偏移量,可利用上一批的最大ID进行限制。
36 3
|
13天前
|
SQL 监控 数据库
数据库管理与电脑监控软件:SQL代码优化与实践
本文探讨了如何优化数据库管理和使用电脑监控软件以提升效率。通过SQL代码优化,如使用索引和调整查询语句,能有效提高数据库性能。同时,合理设计数据库结构,如数据表划分和规范化,也能增强管理效率。此外,利用Python脚本自动化收集系统性能数据,并实时提交至网站,可实现对电脑监控的实时性和有效性。这些方法能提升信息系统稳定性和可靠性,满足用户需求。
46 0
|
5天前
|
关系型数据库 MySQL 分布式数据库
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
《MySQL 简易速速上手小册》第6章:MySQL 复制和分布式数据库(2024 最新版)
35 2

热门文章

最新文章