优化控制计算成本

1、通过计费提醒估算计算成本

1.1 使用DataWorks 估算费用

1.2 使用Cost SQL估算费用

Cost SQL SELECT * from work_demo.dwd_prouduct_house_basic_info_out_npt;

1.3 使用MaxCompute Stuido估算费用

1.4 使用产品价格计算器估算费用

1.5 使用MaxCompute JAVA SDK估算费用

3、通过优化SQL来控制计算成本

3.1 列裁剪

SELECT a,b FROM T WHERE e < 10;

3.2 分区裁剪

SELECT a,b FROM T WHERE partitiondate='2017-10-01';

3.3 SQL关键字的优化

例如------------------------------------
SELECT COALESCE(t1.id, t2.id) AS id, SUM(t1.col1) AS col1
 , SUM(t2.col2) AS col2
FROM (
 SELECT id, col1
 FROM table1
) t1
FULL OUTER JOIN (
 SELECT id, col2
 FROM table2
) t2
ON t1.id = t2.id
GROUP BY COALESCE(t1.id, t2.id);
可以优化为---------------------------
SELECT t.id, SUM(t.col1) AS col1, SUM(t.col2) AS col2
FROM (
 SELECT id, col1, 0 AS col2
 FROM table1
 UNION ALL
 SELECT id, 0 AS col1, col2
 FROM table2
) t
GROUP BY t.id;

例如--------------------------------------
SELECT t.id, SUM(t.val) AS val
FROM (
 SELECT id, SUM(col3) AS val
 FROM table3
 GROUP BY id
 UNION ALL
 SELECT id, SUM(col4) AS val
 FROM table4
 GROUP BY id
) t
GROUP BY t.id;
可以优化为---------------------------
SELECT t.id, SUM(t.val) AS val
FROM (
 SELECT id, col3 AS val
 FROM table3
 UNION ALL
 SELECT id, col4 AS val
 FROM table4
) t
GROUP BY t.id;

例如--------------------------------------
SELECT COUNT(DISTINCT id) AS cnt
FROM table1;
可以优化为---------------------------
SELECT COUNT(1) AS cnt
FROM (
 SELECT id
 FROM table1
 GROUP BY id
) t;

3.4 禁止全表扫描

set odps.sql.allow.fullscan=false;
select count(*) from work_demo.house_test; 

说明：限制扫描全表。默认情况下true，允许扫描全表；否则为false，如果扫描全表，则抛异常。

Project级别控制

SetProject odps.sql.allow.fullscan

3.5 不要运行查询来探索或预览表数据 如果您想预览表数据，可以使用表预览选项查看数据，而不会产生费用。

odps@ yinlin_demo>read mc2_ots.demo_dplus_summary 10;

3.6 在通过MaxCompute计算和通过RDS计算中寻找平衡

4、MR作业计算控制成本

4.1 设置合理的参数

4.2 MR减少中间环节

4.3 输入表的列裁剪

InputUtils.addTable(TableInfo.builder().tableName("wc_in").cols(new String[]{"c1","c2"}).build(), job);

4.4 避免资源重复读取

4.5 减少对象构造开销

{
    ...
    Record word;
    Record one;

    public void setup(TaskContext context) throws IOException {


      // 创建一次就可以，避免在map中每次重复创建
      word = context.createMapOutputKeyRecord();

      one = context.createMapOutputValueRecord();

      one.set(new Object[]{1L});

    }
    ...
}

4.6 合理选择partition column或自定义partitioner

import com.aliyun.odps.mapred.Partitioner;
 
public static class MyPartitioner extends Partitioner {

@Override
public int getPartition(Record key, Record value, int numPartitions) {
  // numPartitions即对应reducer的个数
  // 通过该函数决定map输出的key value去往哪个reducer
  String k = key.get(0).toString();
  return k.length() % numPartitions;
}
}

jobconf.setPartitionerClass(MyPartitioner.class)

jobconf.setNumReduceTasks(num)

4.7 合理使用combiner

/**
   * A combiner class that combines map output by sum them.
   */
  public static class SumCombiner extends ReducerBase {

    private Record count;

    @Override
    public void setup(TaskContext context) throws IOException {
      count = context.createMapOutputValueRecord();
    }

    @Override
    public void reduce(Record key, Iterator<Record> values, TaskContext context)
        throws IOException {
      long c = 0;
      while (values.hasNext()) {
        Record val = values.next();
        c += (Long) val.get(0);
      }
      count.set(0, c);
      context.write(key, count);
    }
  }

5、计费模式转换

5.1 后付费转预付费

show p;--查看所有instance_id，例如20171106100629865g4iplf9
wait 20171106100629865g4iplf9;--查看每个instance_id的logview

5.2 预付费+后付费混合模式

优化控制存储成本

1、设置合理的表生命周期

create table test3 (key boolean) partitioned by (pt string, ds string) lifecycle 100;

alter table table_name set lifecycle days;

2、合理设置数据分区

优化控制数据同步成本

1、尽可能使用经典网络和VPC网络

2、合理利用ECS的公共下载资源

3、Tunnl文件上传优化

分析账单与明细

1、账单及时查看

2、案例分析

新的一年开始了，欢迎您加入MaxCompute开发者社区，在新征程里与更多大数据开发者一起学习交流大数据技术。
搜索钉钉群号：11782920，或扫码加入
阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文，问答，社群，实践，有朋自远方来，不亦说乎……