1. 云栖社区>
  2. 全部标签>
  3. #Greenplum#
Greenplum

#Greenplum#

已有14人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

mysql迁移mpp数据库Greenplum

mysql迁移mpp数据库Greenplum 场景描述因兄弟项目中mysql有点扛不住了,要做sql优化,但是业务有点小复杂,优化起来有点麻烦(sql嵌套有点多),便想着用Mpp数据库Greenplum测试下,看性能和复杂度怎么样,趟趟水。

PostgreSQL Greenplum mysql SQL 数据库 测试 MPP varchar csv navicat

SpringCloud----->springboot项目读取mysql的binlog日志

springboot项目读取mysql的binlog日志,在去年的时候,我就遇到一个需求,需要把mysql数据库中的数据的增、删、改的数据准实时做数据清洗,也就是ETL工作,同步到公司的数据仓库greenplum中(数据库数据变化的监听从而同步缓存(如Redis)数据等)。

Greenplum mysql 日志 数据库 配置 数据仓库 同步 grant replication variables binlog canal

SpringCloud----->在springboot项目中跑起来控制台项目

在springboot项目中跑起来控制台项目: springboot通常都是用来做restful api的web项目。 但是也有极少情况下,需要跑控制台项目,在去年的时候,我就遇到一个需求,需要把mysql数据库中的数据的增、删、改的数据准实时做数据清洗,也就是ETL工作,同步到公司的数据仓库greenplum中。

Greenplum mysql 日志 数据库 web 配置 数据仓库 同步 控制台 replication variables binlog

AnalyticDB for PostgreSQL 实时数据仓库上手指南

AnalyticDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

PostgreSQL Greenplum mysql hadoop etl 同步 OLAP MPP 分析型数据库 EMR MaxCompute AnalyticDB HybridDB 企业数仓

使用 Dataworks 实现 AnalyticDB PostgreSQL版上的 ETL 作业调度

DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于AnalyticDB PostgreSQL版(原HybridDB for PostgreSQL,简称ADB PG版)的支持,意味着所有ADB PG版的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维.

大数据 安全 PostgreSQL Greenplum etl SQL 配置 测试 adb 定时任务 数据开发 任务调度 AnalyticDB HybridDB DataWorks

使用Quick BI连接AnalyticDB for PostgreSQL数据源

本文介绍如何通过阿里云Quick BI连接AnalyticDB for PostgreSQL数据库。

PostgreSQL Greenplum 数据库 配置 测试 控制台 aliyun 分析型数据库 schema 报表 html big data AnalyticDB 数据门户

使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL

DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。 使用DTS的前提条件 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。

PostgreSQL Greenplum RDS 配置 数据仓库 按量付费 同步 控制台 aliyun 逻辑复制 数据同步 schema AnalyticDB dts 实时数仓

Tableau BI工具对接 AnalyticDB for PostgreSQL数据源

AnalyticDB for PostgreSQL(原HybridDB for PostgreSQL)作为高性能分析型数据库,可以支持用户对其业务数据进行实时分析,能够让企业敏锐感知市场动态,做出必要决策。

数据存储与数据库 PostgreSQL Greenplum SQL Image 数据分析 分析型数据库 fetch BI MaxCompute AnalyticDB HybridDB Tableau

使用Kettle导入数据到ADB for PostgreSQL

文章介绍了使用Kettle将数据导入到AnalyticDB for PostgreSQL,包括使用表输出方式(INSERT)和批量加载方式(COPY)导入到AnalyticDB for PostgreSQL的详细步骤和操作流程。

Greenplum 导入 mysql etl 数据库 配置 数据仓库 主机 测试 数据分析 JDBC adb Kettle AnalyticDB

Greenplum 大宽表 OR 分层关系 - 大量nestloop,补齐其他字段的性能损耗

标签 PostgreSQL , Greenplum , 宽表 , 关系 , 循环 , 性能 背景 GPDB中,使用关系存储,还是使用大宽表呢? 关系存储,在查询其他表的内容时,需要JOIN补齐。JOIN可能需要重分布数据,维度表可以解决大量数据重分布的问题。

数据存储与数据库 PostgreSQL Greenplum postgres 性能 BY aggregate statistics

Greenplum 6已合并到PostgreSQL 9.3版本 - 比上一代GP提升:8倍读,195倍更新、删除 - 另有大量PG新特性

标签 PostgreSQL , Greenplum , 6 , gin , 异步事务 背景 Greenplum 6已合并到PostgreSQL 9.3版本 - 相比5性能提升:读8倍,更新、删除195倍 - 另有大量PG新特性,详见PostgreSQL release notes https://www.postgresql.org/docs/11/static/release.html 例如 1、GIN、SPGIST 索引接口。

数据存储与数据库 分布式 PostgreSQL Greenplum postgres 性能 random 索引 Transaction Create database update

Greenplum 优化CASE - 对齐JOIN字段类型,使用数组代替字符串,降低字符串处理开销,列存降低扫描开销

标签 PostgreSQL , 数组 , 字符串 , 字符串处理 , JOIN , where , 类型一致性 背景 Greenplum通常被用作OLAP,在一些用户使用过程中,可能因为数据结构设计,SQL问题等原因导致性能不佳,虽然通过增加节点可以解决问题,但是如果能优化的话,可以节约不少硬件资源。

数据存储与数据库 PostgreSQL Greenplum 性能 SQL HASH Create 存储 数组

Deepgreen(Greenplum) 多机部署测试 , TPC-H VS citus

标签 PostgreSQL , deepgreen , greenplum , citus , tpch , 多机部署 背景 多机部署deepgreen,与greenplum部署方法类似。

数据存储与数据库 PostgreSQL Greenplum postgres 配置 测试 database file

PostgreSQL sharding : citus 系列3 - 窗口函数调用限制 与 破解之法(套用gpdb执行树,分步执行)

标签 PostgreSQL , citus , 窗口函数 背景 窗口函数是分析场景常用的,目前(citus 7.5)仅支持两种场景使用window函数, 1、partition by 必须是分布键。

数据存储与数据库 PostgreSQL Greenplum postgres 函数 BY

PostgreSQL citus, Greenplum 分布式执行计划 DEBUG

标签 PostgreSQL , citus , sharding , Greenplum , explain , debug 背景 开启DEBUG,可以观察citus, Greenplum的SQL分布式执行计划,下发情况,主节点,数据节点交互情况。

数据存储与数据库 分布式 PostgreSQL Greenplum postgres test

Greenplum csvlog(日志数据)检索、释义(gp_toolkit.gp_log*)

标签 PostgreSQL , Greenplum , csvlog , gp_toolkit 背景 由于GP为分布式数据库,当查看它的一些日志时,如果到服务器上查看,会非常的繁琐,而且不好排查问题。

数据存储与数据库 PostgreSQL Greenplum postgres 日志 LOG Transaction session database timestamp Digoal view

Greenplum扩容节点步骤

为Greenplum添加计算节点

数据存储与数据库 Greenplum postgres 数据库 数据节点 test schema database

Greenplum添加mirror步骤

为只有primary的greenplum添加mirror节点

数据存储与数据库 PostgreSQL Greenplum postgres 集群 同步 gcc database

17
GO