1. 云栖社区>
  2. 全部标签>
  3. #postgres#
postgres

#postgres#

已有4人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

PgSQL · 应用案例 · 经营、销售分析系统DB设计之共享充电宝

背景 共享充电宝、共享单车、共享雨伞,共享女朋友^|^,共享汽车,。。。 共享经济最近几年发展确实非常迅猛。 共享必定涉及被共享对象的管理、会员的管理等,实际上也属于一种物联网系统。 本文以共享充电宝的场景为例,分享一下共享充电宝的经营分析、销售管理系统的后台数据库的设计。

PostgreSQL Greenplum postgres LOG path index Create

PgSQL · 特性分析 · MVCC机制浅析

背景 我们在使用PostgreSQL的时候,可能会碰到表膨胀的问题(关于表膨胀可以参考之前的月报),即表的数据量并不大,但是占用的磁盘空间比较大,查询比较慢。为什么PostgreSQL有可能发生表膨胀呢?这是因为PostgreSQL引入了MVCC机制来保证事务的隔离性,实现数据库的隔离级别。

PostgreSQL postgres 数据库 索引 test 存储

PgSQL · 应用案例 · 海量用户实时定位和圈人-团圆社会公益系统

背景 老人、儿童是最容易走丢的人群,一定要看好老人和小孩,但是万一走丢了怎么办呢? 阿里有一个公益系统,团圆,这个系统是用来帮助发布走丢人群信息的,公安通过发布的走丢人的照片,最后一次的位置信息,向社会发布。

PostgreSQL postgres 函数 性能 random 数据库 pos 索引 Create 流计算

PgSQL · 应用案例 · HDB for PG特性(数据排盘与任意列高效率过滤)

背景 数据也有生辰八字,你信吗?列与列之间,行与行之间,元素与元素之间如何相生相克?查询慢?不要信什么这都是上天注定的,如何给数据改运?看完本文,你也可以做到。 一份天赋,九份努力。缘分天注定。命由天定。

算法 PostgreSQL postgres 排序 索引 物联网 analyze index 存储 数据存储

PgSQL · 源码分析 · PG 优化器中的pathkey与索引在排序时的使用

概要 SQL在PostgreSQL中的处理,是类似于流水线方式的处理,先后由: 词法、语法解析,生成解析树后,将其交给语义解析 语义解析,生成查询树,将其交给Planner Planner根据查询树,生成执行计划,交给执行器 执行器执行完成后返回结果 数据库优化器在生成执行计划的时候,优化器会考虑是否需要使用索引,而使用了索引之后,则会考虑如何利用索引已经排过序的特点,来优化相关的排序,比如ORDER BY / GROUP BY等。

postgres SQL 源码 path 排序 索引 index list Group

多流聚合与JSON全文检索的功能应用

标签 PostgreSQL , 写时合并 , 记录级快照 , json , json索引 , json聚合 , 圈选 , 并行计算 背景 这个需求是这样的,数据在写入时,以上一条记录作为基础,将当前写入的记录与上一条记录合并,然后作为新的记录写进去。

数据存储与数据库 PostgreSQL postgres Json random 电商 索引 并行计算 test Create

Greenplum 清理垃圾、修改存储模式(行列变换) 平滑方法 - 交换数据、交互分区

标签 PostgreSQL , Greenplum , 交换分区 , 清理垃圾 , 存储格式变更 背景 1、在使用Greenplum的过程中,如果业务会经常对数据进行更新,删除,插入,可能导致数据出现膨胀。

数据存储与数据库 PostgreSQL Greenplum postgres exchange 分区表 存储

PostgreSQL 业务数据质量 实时监控 实践

标签 PostgreSQL , pg_stat , 实时质量监控 背景 当业务系统越来越庞大后,各个业务线的数据对接会越来越频繁,但是也会引入一个问题。 数据质量。 例如上游是否去掉了一些字段,或者上游数据是否及时触达,又或者上游数据本身是否出现了问题。

数据存储与数据库 监控 PostgreSQL postgres 索引 性能测试 test timestamp

如何根据行号高效率的清除过期数据 - 非分区表,数据老化实践

标签 PostgreSQL , 数据老化 , 数据过期 , 行号 , array in , oss外部表 背景 数据按时间维度老化,删除或转移,是很多业务都有的需求。 例如业务的FEED数据,CDN的日志数据,物联网的跟踪数据等,有时间维度,可能再有状态值(标记最终状态)。

数据存储与数据库 PostgreSQL OSS postgres 物联网 性能测试 分区表 Create timestamp 存储

Recheck Cond filter IO\CPU放大 原理与优化CASE - 含 超级大表 不包含(反选) SQL优化

标签 PostgreSQL , 全文检索 , 数组 , 不包含 , not in , bitmap scan filter , toast 切片存储 , except , IO , cpu , 放大 背景 在阅读本文之前,先提几个问题: 1、用了索引是不是就不需要访问表了? 2、用了索引是不是就不需要进行二次判断了? 第一个问题,只有一种情况用了索引是不需要访问表的,Index Only Scan,并且对应堆表行号对应的HEAP块中没有不可见TUPLE(访问表的VM文件得到)。

数据存储与数据库 PostgreSQL postgres SQL 索引 CPU analyze index 存储

PostgreSQL - 鱼与熊掌可兼得 - 多副本0丢失与高性能兼得 - 事务级异步、同步开关

标签 PostgreSQL , synchronous_commit , redo , local , remote_write , remote_apply , on , off 背景 大多数的数据库属于IO密集型应用,特别是写繁忙的TP系统,例如账户系统。

数据存储与数据库 PostgreSQL postgres 性能 高可用 数据库 同步 高性能

PostgreSQL - 全文检索内置及自定义ranking算法介绍 与案例

标签 PostgreSQL , 全文检索 , ranking 背景 《用PostgreSQL 做实时高效 搜索引擎 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询》 《排序算法》这个章节实际上介绍了PostgreSQL的ranking算法。

数据存储与数据库 算法 PostgreSQL postgres 函数 排序 正则表达式 索引 UDF index Create 数组

postgresql 弱口令 UDF 攻击

1.首先通过端口扫描到弱口令 postgresql 账号密码 2.UDF  自定义函数,本地首先编译制作 so 文件,并上传到服务器 参考:https://www.

PostgreSQL postgres 函数 阿里云服务器 string static UDF cmd

PostgreSQL 实时高效搜索 - 全文检索、模糊查询、正则查询、相似查询、ADHOC查询

标签 PostgreSQL , 搜索引擎 , GIN , ranking , high light , 全文检索 , 模糊查询 , 正则查询 , 相似查询 , ADHOC查询 背景 字符串搜索是非常常见的业务需求,它包括: 1、前缀+模糊查询。

数据存储与数据库 PostgreSQL postgres 数据库 索引 static 性能测试 html

PostgreSQL 用 CTE语法 + 继承 实现平滑拆分大表

标签 PostgreSQL , 拆分大表 , 继承 , cte 背景 业务设计初期可能不会考虑到表将来会有多大,或者由于数据日积月累,单表会变得越来越大。 后面在考虑分区的话,应该怎么将单表切换成分区表呢? 这里可以用到PostgreSQL的CTE语法,以及继承功能,还有内置的分区表功能。

数据存储与数据库 PostgreSQL postgres plpgsql 分区表 Create

PostgreSQL 逻辑订阅 - DDL 订阅 实现方法

标签 PostgreSQL , 逻辑订阅 , 逻辑复制 , DDL 复制 , udf , 触发器 , 事件触发器 背景 逻辑订阅是PostgreSQL 10内置的功能,通过逻辑订阅,可以实现部分数据的同步要求。

数据存储与数据库 PostgreSQL postgres 逻辑复制 replication UDF Create timestamp

PostgreSQL Oracle兼容性 - substrb - orafce substrb 适配 Oracle substrb

标签 PostgreSQL , substrb , 按字节截断 , 不截断多字节字符 背景 在orafce提供的substrb中,当截断到某个多字节字符时,如果字符被中间截断,会导致乱码。 为了兼容oracle substrb,不截断多字节字符,可以在orafce包的substrb基础之上再写一个plpgsql函数来代替。

数据存储与数据库 PostgreSQL postgres 函数 Oracle pos plpgsql 兼容性 字符集

PostgreSQL on ECS SLA 流复制备库+秒级快照+PITR+自动清理

标签 PostgreSQL , ECS , 阿里云 , 部署 , 物理镜像 , 流复制 , 快照备份 , 备份验证 , 自动清理 背景 介绍在阿里云ECS环境中,实现一个非常简单,但是可用性和可靠性满足一般企业要求的PostgreSQL环境。

数据存储与数据库 PostgreSQL postgres ECS 数据库 配置 主机 replication database list pattern

滑动窗口 分析SQL 实践

标签 PostgreSQL , Greenplum , 滑动窗口 , 滑窗 , 窗口语法 , window , frame , 帧 背景 滑动窗口分析是数据分析中比较常见的需求,例如需要分析每一天的最近7天内的UV、PV、sum, count, avg, min, max等。

数据存储与数据库 PostgreSQL postgres SQL

通过机器学习来自动调优数据库

本文是卡耐基梅隆大学的 Dana Van Aken、Andy Pavlo 和 Geoff Gordon 所写。这个项目展示了学术研究人员如何利用 AWS Cloud Credits for Research Program 来助力他们的科技突破的。

mysql postgres 性能 DBMS 数据库 配置 脚本

22
GO