1250866261235787评论了该文章
PostgreSQL内核扩展之 - ElasticSearch同步插件
应该可以自己写 ElasticsearchFDW 然后先对几十亿数据量的ES索引进行筛选查询后统计,将统计结果作为PostgreSql的外部表数据源。 然后再与PostgreSql中的普通表进行关联查询。 但是这个1万的限制确实很讨厌,统计结果超过1万也是常有的事情,不过统计结果的条数,ES好像不作限制的。 只对查询返回的条数做限制,我知道可以通过修改ES的索引配置参数 来提高这个1万限制。…显示全部
    1250866261235787评论了该文章
    PostgreSQL内核扩展之 - ElasticSearch同步插件
    我的想法是集群化的PostgreSql + ElasticSearch,解决多表关联的、复杂的实时统计分析的问题。 看到您的文章后,一阵惊喜,和我想的一样。但是细看小去,又不是那么回事。 我所接触的都是一些很小的集群,通常只有10几个服务器的计算节点,数据量一般不超过100亿。 若要对几十亿的数据进行复杂的多表关联的统计分析,目前使用Impala已经无法胜任, 执行耗时长达数分钟到几十分钟,甚至…显示全部
      枕边书评论了该文章
      PostgreSQL 百亿数据 秒级响应 正则及模糊查询
      当我字段类型使用 varchar ,存储中文字符时,直接创建b树索引,使用 like '词组%' 或 ~ '^词组' 是不生效的,PgSQL仍然会全表扫描过滤,必须得在创建索引时指定索引模式。 如:create index on table(column varchar_pattern_ops),这种模式还有多种,详情看文档:http://www.postgres.cn/docs/9.4/in…显示全部
        mydreambei评论了该文章
        PgSQL · 性能优化 · PostgreSQL TPC-C极限优化玩法
        你好, logdev 单独分出来,我感觉在上面的例子用途不大。因为分不分io 总是分散在三块ssd,如果有额外的磁盘放log 应该会更快。不知理解的对不
          wlof评论了该文章
          Postgres-XC 聚合原理 以及 如何编写聚合函数
          Hi , 有一个疑惑, postgresql 管档里提到 SORTOP 这个参数: [ , SORTOP = sort_operator ] 但不理解 sort_operator 该怎么使用,能讲解举个例子吗? Thanks, Haichao
            smartimer评论了该文章
            PostgreSQL "物联网"应用 - 1 实时流式数据处理案例(万亿每天)
            膜拜大神,读了这篇文章,为我们的业务提供了一个非常贴合的解决方案,感谢分享。
              leviathan_评论了该文章
              聊一聊双十一背后的技术 - 物流, 动态路径规划
              找这篇文章翻了好久,收到了很大启发。谢谢德哥!
                killua001评论了该文章
                论count使用不当的罪名 和 分页的优化
                cursor做分页可以提升每页的返回效率, 但是用户没有动作也不能交还连接到连接池,有太多人使用的时候,会不会推高连接数?
                • Loading...
                cheng362432评论了该文章
                精确度量Linux下进程占用多少内存的方法
                请问进程的内存使用到底是以RSS为准,还是以pmap查得的writeable/private为准?
                • Loading...
                漂浮人世间评论了该文章
                PostgreSQL 百亿地理位置数据 近邻查询性能
                有一个问题,请教一下。 我按照你的方法测试的,我插入数据是600多万,当查询十条附近100米的数据时,相应时间为1ms左右,和你说的符合。 可是当我把limit 10 改为 limit 50 时,查询时间变成了 30000 ms (满足条件数据不足50 条) ,我取消limit 查询所有符合条件的数据,却快了好多。。。如图: 求教
                  面包逸刀流评论了该文章
                  弱水三千,只取一瓢,当图像搜索遇见PostgreSQL(Haar wavelet)
                  有么有根据RUM来匹配相似图片的例子,没搞懂那个
                    pger评论了该文章
                    AliCloudDB for PostgreSQL pg_hint_plan插件的用法
                    德哥,如果我使用pg_hint_plan来固化针对分区表的查询改如何使用,比如我要制定使用某个索引,但最后执行的表是根据查询条件决定的分区表,怎么在/+ / 中指定索引呢?
                    • Loading...
                    黎志炜评论了该文章
                    为什么用 PostgreSQL 绑定变量 没有 Oracle pin S 等待问题
                    但是很pg在高并发的情况下不加pgbouncer比较容易出现spinlock的问题
                    • Loading...
                    乐1024评论了该文章
                    找对业务G点, 体验酸爽 - PostgreSQL内核扩展指南
                    德哥, greenplum的自定义插件编写流程与postgresql的步骤一样吗?包括代码编写,编译,插件安装,以及最后的使用! 现在准备让greenplum支持uuid,利用postgresql的uuid-1.6.2.tar.gz装上了,但是因为类型是自定义的,无法直接转换成varchar使用。所以准备为greenplum写一个cstring转换varchar的函数,或者把原来的uuid-1.…显示全部
                    • Loading...
                    兴趣使然评论了该文章
                    关键时刻HINT出彩 - PG优化器的参数优化、执行计划固化CASE
                    德哥好,我正在一步一步跟着您的文章校准成本因子,碰到个问题想请教您。 另外我还想问一下,因为我的数据库服务器是在windows server上的,所以我在相同的硬件配置,在linux下得到的参数,可以直接拿到windows服务器下去用吗?我这样做有意义吗(我感觉这样的参数虽然在windows下不是最优的,但多少应该有点作用吧)?
                    • Loading...
                    明虚评论了该文章
                    如何搭建阿里云RDS PostgreSQL数据库的物理备库
                    由于目前rds pg的缺省用户已经有replication角色,所以不需要开工单申请replication用户了。
                      llzzcc-56评论了该文章
                      PostgreSQL 如何潇洒的处理每天上百TB的数据增量
                      德哥你好,请教一下一个问题: 我在自己公司环境上按照本文测试 Intel(R) Xeon(R) CPU E5606 @ 2.13GHz,8核 32G内存 磁盘7200转/秒 SATA盘(硬盘raid) 网络网线:千兆网线 带宽 磁盘写 磁盘读 内存带宽 111MB/s 221 MB/s 298 MB/s 6539 MB/s 单个pgbentch测试如下: pgbench …显示全部
                      • Loading...
                      兴趣使然评论了该文章
                      PostgreSQL 逻辑结构 和 权限体系 介绍
                      德哥,请问如何才能让一个用户看不到其他username_schema下的表结构呢?现在只是不能查询,但是我想让他连表结构都看不到
                      • Loading...
                      而是评论了该文章
                      使用sysbench测试阿里云RDS PostgreSQL性能
                      你好,大神,请教个sysbench0.5测试postgres的问题,我在测试过程中,很高概率出现报错,退出,无法获取测试结果 ALERT: error: ERROR: duplicate key value violates unique constraint "sbtest41_pkey" DETAIL: Key (id)=(4970785) already exists. 请问有办法解决…显示全部
                      • Loading...
                      而是评论了该文章
                      PostgreSQL 秒杀场景优化
                      你好,请教下pgbench-j和-c两个参数的关系?我说下我的理解,看是否正确。-c表示模拟的并发用户数,-j指定后,模拟的用户数还是那么多,只是1个用户会有多个线程来调用模型中的sql语句,从而产生更高的压力?
                      • Loading...