文章转自duzhuan
本文主要介绍一些ODPS表操作的优化技巧，通过这些技巧，可以有效节省ODPS存储空间和计算量。
合理设置分区表
ODPS支持分区表的概念，分区表指的是在创建表时指定的partition的分区空间，即指定表内的某几个字段作为分区列。在大多数情况下，用户可以将分区类比为文件系统下的目录。 ODPS将分区列的每个值作为一个分区(目录)。用户可以指定多级分区，即将表的多个字段作为表的分区，分区之间正如多级目录的关系。在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高处理效率，降低费用。
比如：create table src (key string, value bigint) partitioned by (pt string);，使用select * from src where pt='20160901';指定正确的分区格式，ODPS在生成查询计划时只会将’20151201’分区的数据纳入输入中。如果没有指定分区，比如select * from src where key = ‘MaxCompute’;查询计划会扫描全表数据。
常见的分区设置方式有根据日期或者地区（国家），也可以根据业务需要自行设置。
ODPS支持多级分区，比如
create table if not exists sale_detail(
shop_name string,
customer_id string,
total_price double)
partitioned by (sale_date string,region string);
AI 代码解读
创建一个二级分区表，第一级分区sale_date是日期，第二级分区region是地区。
设置合理的表生命周期
ODPS平台中存储资源是非常宝贵的。可以根据数据本身的使用情况，对表设置生命周期，ODPS会及时删除超过生命周期的数据，达到节省存储空间的目的。比如create table test3 (key boolean) partitioned by (pt string, ds string) lifecycle 100; 创建一张生命周期为100的表。如果这张表或者分区的最后修改时间超过了100天将会被删掉。需要注意的是生命周期是以分区为最小单位的，所以一个分区表，如果部分分区达到了生命周期的阀值，那么这些分区会被直接删掉，未达到生命周期阀值的分区不受影响。
另外可以通过命令 alter table table_name set lifecycle days;修改已经创建好的表的生命周期。
数据重新分布
ODPS表是数据的集合，也就是说不同的数据分布表对ODPS来说是等价的。但是在实际存储中，不同数据分布对压缩算法的友好度也很大差别。下图是我们对一张表针对不同列进行排序的结果，在不同的数据分布的情况下，压缩效果差距还是相当大的。
一般说来，每个表中都有存在1个或几个对存储空间影响比较的字段，这些字段就是影响压缩效果的关键。目前看来，平均字段长度，唯一值个数是两个极其关键的参考值。
欢迎加入“数加·MaxCompute购买咨询”钉钉群（群号： 11782920）进行咨询，群二维码如下：
