checksum建立的索引

简介:

朋友的一个checksum计算列建立的索引:

在数据库设计中需要一列标注网页的URL地址,LINK NVARCHAR(1000)。在INSERT的时候需要判断之前有无同样的URL地址记录被插入。
也就是用select top 1 @ID=ID from Table where Link=@Link,然后判断@ID值是否大于0。
如果数据量过大,需要给LINK加为索引,但是这时会发现SQL SERVER的索引对那么大的NVARCHR是无法建立的,限制在200字符以内。
我在最早的时候解决这个问题是采用了对LINK进行MD5化,MD5的值只有几十个字符长,然后对MD5结果进行索引。但这样做性能其实一般,而且大字段的数据库索引同样会占用不少存储空间。
其实在SQL SERVER中可以设置计算字段,就是说该字段是可以是其他字段的计算结果。这样的话就用CHECKSUM来优化上述的索引问题。
做法范例:

alter table tablename add csLink as CHECKSUM(Link)。

 

这样就建立一个csLink列,生成的CHECKSUM值是一个大的整数。对该列进行索引,相当于对BITINT型进行索引,索引存储空间也非常节约。这样在判别有无重复LINK的时候就使用:

select top 1 @ID=ID from Table where csLink=CHECKSUM(@Link) And Link=@Link

 

数据库会优先判断csLink索引字段,而实际测试100万条记录的CHECKSUM,无一重复,所以第一次匹配的返回条数是极少的,基本可以做到一批匹配,而考虑肯能会有重复记录,因此再加上And Link=@Link,这样是在小的数据集中再次做无索引匹配,这样性能损耗几乎没有感觉。

计算字段给我感觉就好像视图,计算字段的灵活度除了简化查找SELECT语句之外,对索引优化的作用是非常大的。CHECKSUM的用法只是发现之一,在今后一定会发现更多的有用的TIPS




    本文转自 Fanr_Zh 博客园博客,原文链接:http://www.cnblogs.com/Amaranthus/archive/2012/12/25/2831848.html,如需转载请自行联系原作者




相关文章
|
2月前
|
存储 算法 关系型数据库
InnoDb行格式、数据页结构、索引底层原理和如何建立索引
InnoDb行格式、数据页结构、索引底层原理和如何建立索引
63 0
|
11月前
|
存储 缓存 关系型数据库
建立索引的建议
建立索引的建议
51 0
|
11月前
|
Shell 数据安全/隐私保护 Windows
导出域内所有hash--笔记(建议收藏)
-导出ntds.dit(域控服务器上操作): 存在域控制器的c:\windows\ntds\ntds.dit中。
175 0
|
存储 关系型数据库 MySQL
每日一面 - 从 innodb 的索引结构分析,为什么索引的 key 长度不能太长?
每日一面 - 从 innodb 的索引结构分析,为什么索引的 key 长度不能太长?
每日一面 - 从 innodb 的索引结构分析,为什么索引的 key 长度不能太长?
|
关系型数据库 数据库 PostgreSQL
对PostgreSQL数据库的hstore类型建立GisT索引的实验
磨砺技术珠矶,践行数据之道,追求卓越价值回到上一级页面:PostgreSQL基础知识与基本操作索引页    回到顶级页面:PostgreSQL索引页[作者 高健@博客园  luckyjackgao@gmail.
2435 0
|
关系型数据库 索引 存储
|
SQL 关系型数据库 MySQL
使用pt-table-checksum校验MySQL主从复制
pt-table-checksum是一个基于MySQL数据库主从架构在线数据一致性校验工具。其工作原理在主库上运行, 通过对同步的表在主从段执行checksum, 从而判断数据是否一致。
1714 0