张友东(林青) + 关注
阿里云高级技术专家

MongoDB BI Connector 实战指南

发布时间:2019-09-30 16:27:52 浏览:7600 评论 :0

MongoDB 使用 BI Connector 来支持 BI 组件直接使用 SQL 或 ODBC 数据源方式直接访问 MongoDB,在早期 MongoDB 直接使用 Postgresql FDW 来实现 SQL 到 MQL 的转换,后来实现更加轻量级的 mongosqld 来支持 BI 工具的连接。

数据存储与数据库 MongoDB mysql SQL Server test schema BI type

MongoDB Spark Connector 实战指南

发布时间:2019-09-29 17:49:26 浏览:2793 评论 :0

Why Spark with MongoDB? 高性能,官方号称 100x faster,因为可以全内存运行,性能提升肯定是很明显的 简单易用,支持 Java、Python、Scala、SQL 等多种语言,使得构建分析应用非常简单 统一构建 ,支持多种数据源,通过 Spark RDD 屏蔽...

python MongoDB path 测试 Guide spark 脚本 test type

Redis 混合存储最佳实践指南

发布时间:2019-08-26 16:59:38 浏览:2571 评论 :1

Redis 混合存储实例是阿里云自主研发的兼容Redis协议和特性的云数据库产品,混合存储实例突破 Redis 数据必须全部存储到内存的限制,使用磁盘存储全量数据,并将热数据缓存到内存,实现访问性能与存储成本的完美平衡。

数据存储与数据库

MongoDB Sharding 请勿复用已删除的 namespace

发布时间:2019-08-01 15:53:10 浏览:1162 评论 :1

SERVER-17397: Dropping a Database or Collection in a Sharded Cluster may not fully succeed 是 MongoDB 里老大难的问题,库或集合删除操作如果没有完全执行成功,再新建相同名字的集合,可能导致读到老版本数据的问题。

MongoDB Server database

MongoDB 定位 oplog 必须全表扫描吗?

发布时间:2019-07-26 10:27:19 浏览:19003 评论 :2

MongoDB oplog (类似于 MySQL binlog) 记录数据库的所有修改操作,除了用于主备同步;oplog 还能玩出很多花样,比如 全量备份 + 增量备份所有的 oplog,就能实现 MongoDB 恢复到任意时间点的功能 通过 oplog,除了实现到备节点的同步,也可以额外再往单独的集群同步数据(甚至是异构的数据库),实现容灾、多活等场景,比如阿里云开源的 MongoShake 就能实现基于 oplog 的增量同步。

数据存储与数据库 MongoDB 数据库 wiredtiger 同步 timestamp 存储

MongoDB compact 命令详解

发布时间:2019-07-17 15:57:24 浏览:1966 评论 :0

为什么需要 compact 一图胜千言 remove 与 drop 的区别 MongoDB 里删除一个集合里所有文档,有两种方式 db.collection.remove({}, {multi: true}),逐个文档从 btree 里删除,最后所有文档被删除,但文件物理空间不会被回收 db.

数据存储与数据库 MongoDB wiredtiger DB file

MongoDB sharding 集合不分片性能更高?

发布时间:2019-07-10 11:49:15 浏览:11678 评论 :1

最近云上用户用户遇到一个 sharding 集群性能问题的疑惑,比较有代表性,简单分享一下 测试配置 mongos x 2、shard x 3 测试1:集合不开启分片,批量 insert 导入数据,每个 batch 100 个文档 测试2:集合开启分片,随机生成 shardKey,chunk 已...

数据存储与数据库 MongoDB 性能 集群 测试 qps Server CPU

MongoDB 4.2 新特性解读

发布时间:2019-06-21 19:35:03 浏览:16860 评论 :1

MongoDB World 2019 上发布新版本 MongoDB 4.2 Beta,包含分布式事务、全文检索、Wildcard 索引等多项数据库新特性,本文尝试从技术角度解读。

分布式 MongoDB 加密 索引 update type 数据存储 公共云

MongoDB killOp 案例详解

发布时间:2019-05-23 13:21:54 浏览:4565 评论 :0

MongoDB 提供 currentOp 命令,列出当前正在执行的查询操作,并提供 killOp 命令,用于中止一些耗时比较长,影响线上业务的操作,作为一种应急手段。 下图是一个 currentOp 命令的输出项之一,用户在获取到 opid 后,调用 killOp() 并没有把这个请求干掉。

MongoDB 线程 Server 云数据库MongoDB版

MongoDB 如何使用内存?为什么内存满了?

发布时间:2019-01-08 10:50:46 浏览:16578 评论 :0

最近接到多个MongoDB内存方面的线上case及社区问题咨询,主要集中在: 为什么我的 MongoDB 使用了 XX GB 内存? 一个机器上部署多个 Mongod 实例/进程,WiredTiger cache 应该如何配置? MongoDB 是否应该使用 SWAP 空间来降低内存压力? M.

数据存储与数据库 MongoDB 线程 数据库 wiredtiger 配置 Cache 排序 page 协议栈 存储 TCMalloc 云数据库MongoDB版 内存子系统

MongoDB 4.0 事务实现解析

发布时间:2018-07-13 10:23:27 浏览:11517 评论 :1

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。

数据存储与数据库 MongoDB wiredtiger Cache 同步 Driver session timestamp 云数据库MongoDB版

SQL反模式:SQL 建模与使用指南

发布时间:2018-05-14 15:41:00 浏览:1816 评论 :0

上周末花了几个小时刷完《SQL反模式》这本书,书里介绍了数据库应用开发者最长遇到的一些问题,虽然这本书面向的读者是使用数据库的应用开发者,但它对数据库管理员、数据库开发者同样会有启发,强烈推荐阅读。

数据存储与数据库 SQL 数据库 正则表达式 分布式文件系统 存储

InnoDB 内部实现原理解析

发布时间:2018-04-20 17:41:52 浏览:2260 评论 :0

InnoDB 是 MySQL 的默认存储引擎,本文解析 InnoDB 的内部实现机制。

innodb

In-place update in WiredTiger

发布时间:2018-03-08 11:50:07 浏览:2220 评论 :0

数据存储与数据库 MongoDB wiredtiger large update read list

RocksDB 写入流程详解

发布时间:2018-01-29 11:35:40 浏览:5642 评论 :0

最初的写入流程,继承自 leveldb,多个 写线程组成一个 group, leader 负责 group 的 WAL 及 memtable 的提交,提交完后唤醒所有的 follwer,向上层返回。 支持 allow_concurrent_memtable_write 选项,在1的基础上,leader 提交完 WAL 后,group 里所有线程并发写 memtable。

性能 线程 levelDB pipeline html Group rocksdb 存储引擎 kv

MongoDB 存储引擎 WiredTiger 原理解析

发布时间:2017-11-17 17:55:53 浏览:19064 评论 :5

在团队内部分享了 Wiredtiger 引擎的原理,为此画了多张图来辅助说明,对了解 Wiredtiger 应该是非常有帮助的,内容分享出来给大家。暂时没时间整理文字版,对实现原理非常感兴趣的同学,如果PPT没讲明白,可以找我私下交流。

MongoDB HTTPS wiredtiger 存储

阿里云数据库MongoDB版正式支持3.4、RocksDB、TerarkDB存储引擎

发布时间:2017-11-03 15:26:49 浏览:8274 评论 :0

云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。

MongoDB 性能 HTTPS 数据库 wiredtiger 测试 同步 aliyun 云数据库 存储 github

论MongoDB索引选择的重要性

发布时间:2017-11-01 19:57:51 浏览:4163 评论 :1

MongoDB 日志 排序 索引 database

6