AnalyticDB for PostgreSQL 实时数据仓库上手指南

简介: AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

云数据库AnalyticDB for PostgreSQL是一种在线MPP大规模并行处理数据仓库服务,基于Greenplum 开源数据库项目,由阿里云深度扩展。其简单易用、海量扩展、兼容部分Oracle 语法生态、支持PL/SQL,标准事务隔离级别,支持行存储和列存储、即满足高性能在线交互分析需要,也可以进行离线数据处理清晰,主要特点有:

adbpg

主要场景
scen

1.实时数仓场景
通过数据传输服务 DTS 、数据集成工具DataX、开源同步工具 rds_dbsync 、 Kettle 等,同步交易库数据 到 ADBPG,构建实时数仓。
MySQL/PG ->DTS/DataX->ADBPG

2.大数据计算分析
批量同步MaxCompute/Hadoop/Spark/SLS 数据到ADB for PG,支撑在线交互分析
大数据平台/日志->DataX/OSS -> ADBPG

3.数据湖分析场景
数据按冷热分析,支持在线查询OSS分布式云存储上的格式化数据

架构介绍:
arch

开通实例:
https://help.aliyun.com/document_detail/50200.html

客户端:
https://help.aliyun.com/document_detail/35428.html

产品文档:
ADB for PG 产品文档:https://help.aliyun.com/document_detail/49912.html

常用操作
实例规格选型指导:https://help.aliyun.com/document_detail/35406.html
表规划和设计指导:https://help.aliyun.com/document_detail/118150.html
性能调优指导:https://help.aliyun.com/document_detail/42688.html
建表语法:https://gpdb.docs.pivotal.io/500/ref_guide/sql_commands/CREATE_TABLE.html
列存压缩(压缩比3到10倍):https://help.aliyun.com/knowledge_detail/50320.html
分区键选择:https://help.aliyun.com/document_detail/120143.html
表分区(支持数字和日期类型上的多级分区):
https://help.aliyun.com/document_detail/118173.html
https://gpdb.docs.pivotal.io/43170/admin_guide/ddl/ddl-partition.html

数据写入方式总结:
数据可以采用 INSERT/COPY/OSS外表/Client SDK 写入实例:https://help.aliyun.com/document_detail/121522.html

数据导入与同步:
数据同步和迁移方法总结:https://help.aliyun.com/document_detail/97411.html
数据传输 DTS 准实时同步 RDS MySQL 数据到 ADB for PG:https://help.aliyun.com/document_detail/117295.html
数据集成DataX 按小时/天同步数据到 ADB for PG:https://help.aliyun.com/document_detail/57681.html
ADB for PG OSS 外部表文档:https://help.aliyun.com/document_detail/35457.html

ETL作业调度:
通过Dataworks 进行ADB for PG作业调度:https://yq.aliyun.com/articles/699601

PostGIS 进行地理信息分析
https://help.aliyun.com/document_detail/127419.html

社区文档:
ADB for PG 社区官方手册:http://greenplum.org/docs/
MADlib SQL机器学习库:http://madlib.apache.org/documentation.html

最佳实践:
数据倾斜的监测和实践:https://github.com/digoal/blog/blob/master/201708/20170821_02.md
负载管理(资源队列管理):https://github.com/digoal/blog/blob/master/201708/20170821_01.md

社群:
AnalyticDB for PG 在线技术支持钉钉群,包括 在线技术专家支持,新特性发布,优惠活动发布。【强烈推荐!】
dingding2

相关实践学习
数据库实验室挑战任务-初级任务
本场景介绍如何开通属于你的免费云数据库,在RDS-MySQL中完成对学生成绩的详情查询,执行指定类型SQL。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
目录
相关文章
|
1月前
|
SQL 存储 大数据
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式,它可以保留数据历史变化的过程,这里分享一下拉链表具体的开发过程。 维护历史状态,以及最新状态数据的一种表,拉链表根据拉链粒度的不同,实际上相当于快照,只不过做了优化,去除了一部分不变的记录,通过拉链表可以很方便的还原出拉链时点的客户记录。
166 13
数据仓库(10)数仓拉链表开发实例
|
3月前
|
SQL 关系型数据库 MySQL
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性
在云数据仓库AnalyticDB MySQL版中,有几个参数可能影响SELECT查询的执行及其稳定性【1月更文挑战第16天】【1月更文挑战第80篇】
290 4
|
3月前
|
存储 关系型数据库 MySQL
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表【1月更文挑战第16天】【1月更文挑战第78篇】
210 3
|
3月前
|
SQL 运维 关系型数据库
基于AnalyticDB PostgreSQL的实时物化视图研发实践
AnalyticDB PostgreSQL企业数据智能平台是构建数据智能的全流程平台,提供可视化实时任务开发 + 实时数据洞察,让您轻松平移离线任务,使用SQL和简单配置即可完成整个实时数仓的搭建。
367 1
|
1月前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
1月前
|
分布式计算 大数据 Hadoop
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
从事数仓工作,在工作学习过程也看了很多数据仓库方面的数据,此处整理了数仓中经典的,或者值得阅读的书籍,推荐给大家一下,希望能帮助到大家。建议收藏起来,后续有新的书籍清单会更新到这里。
162 2
数据仓库(13)大数据数仓经典最值得阅读书籍推荐
|
1月前
|
SQL 数据采集 存储
数据仓库(12)数据治理之数仓数据管理实践心得
这边文章聊聊自己对数据治理开发实践的一些思路,就是聊聊怎么开始去做数据治理这件事情。说起数据治理,有时候虽然看了很多文章,看了很多的介绍,了解数据治理的理论,但是实际上需要我们去搞的时候,就会踩很多的坑。这里记一下自己做数据治理的一些思路,做做笔记,也分享给需要的同学。 当然,想要做数据治理,想要学习了解,一下数据治理的范围,理论等,最好可以看看别人怎么做的,了解数据治理可以参考:[数据仓库(11)什么是大数据治理,数据治理的范围是哪些](https://zhuanlan.zhihu.com/p/467433967)。
234 0
|
1月前
|
存储 大数据 数据管理
数据仓库(09)数仓缓慢变化维度数据的处理
数据仓库的重要特点之一是反映历史变化,所以如何处理维度的变化是维度设计的重要工作之一。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流逝发生缓慢的变化,与数据增长较为快速的事实表相比,维度变化相对缓慢。阴齿这个就叫做缓慢变化维。
211 2
数据仓库(09)数仓缓慢变化维度数据的处理
|
1月前
|
SQL Cloud Native 关系型数据库
AnalyticDB MySQL湖仓版是一个云原生数据仓库
【2月更文挑战第15天】AnalyticDB MySQL湖仓版是一个云原生数据仓库
24 2
|
3月前
|
SQL 分布式计算 Java
数仓学习---7、数据仓库设计、数据仓库环境准备、模拟数据生成
数仓学习---7、数据仓库设计、数据仓库环境准备
126 2

相关产品

  • 云数据库 RDS PostgreSQL 版