Terark—重新定义数据技术

简介: 本文PPT来自Terark Inc. CTO雷鹏于10月15日在2016年杭州云栖大会上发表的《Terark—重新定义数据技术》。

Terark核心技术

可检索压缩 SeComp (Seekable Compression) 技术

这个技术拥有超高的压缩率(⼀一般在5倍以上), 同时可以直接在压缩的数据上进行定点访问(微秒级), 避免了了传统数据库使用的分块压缩技术固有的缺点

索引技术

我们实现了多种独有的索引技术。其中最关键的是“数据即索引,索引即数据” , 从而节

约了空间,同时并保持甚至提高了性能

存储引擎技术

Terark存储引擎可以便便捷的融入各种数据系统, 为其提供高效的核心存储技术,大幅提升

整个系统的容量和性能

 

TerarkDB ——高性能、高压缩的存储引擎

一组800G的数据,Terark压缩后只有47.9G,同时Query延迟达到微秒级。使⽤用Terark,只需要1台普通64G内存的服务器器就够了,而用其它数据库可能就需要搭建一个小集群了。

功能丰富:支持丰富数据类型的Schema定义和灵活的索引, 原生支持正则表达式检索

性能强大:TerarkDB的QPS⽐比同类产品提⾼高1〜2个数量级, 降低延迟, 提高吞吐量

容量大成本低:压缩率5倍以上, 极大的降低IO压⼒力力, 提高数据容量, 降低基础设施成本

索引压缩: Succinct Tree

一种能够在接近于信息论下限的空间内来表达对象的技术,通常使用位图来表示,用位图上的rank和select来定位。

ae10cfec2d46e565c548b6b9602484d85472fa1d

a92aa5045df2123dde6eb9ddf385ad7d64557864

566d5dd1dd829d8b6ec8d53d0d47af6a7ff47aff

2928784eba21075a27e76da7246f41b4985d9122

e7a11befc2258d6b00f99d3ece83079d2e416ebf

74bd3c4782d1d5d4253d15bb435a5790819c9bfb

01d1af5b6c9c8da06e325159c0eae7c8083a0229

0b0471d5baa4af159ffaa02ebec56342333c5d82

b2aa7c16c4335f4793fb8231c04f9bb8bc531b44

635b9b74d0b35d407bf8e2cf2444df5d7eba2615

b704a256b06cbcb18a25337c2715e353cf608d13

aded159c7e9156a22d7714a8a7f897ddea1941f8

47926a4aa3a4c2026ba69a1dc3d31c3453b07499

70b1539fbed90822191feae10da3735e06d17915

11f630b61518a3fc44a9634353f8b59cccbaa7b6

263f70a687c2384bd707f5ce0cea5548196c104e

a13703b677fa905875b076041f99d7cc5237efce

26d4f3eeea4c07126ef0918bd49d8b3620899870

相关文章
|
6月前
|
存储 NoSQL 数据库
数据模型
一、数据模型 数据模型是用于描述现实世界中各种实体、属性和实体之间关系的一种抽象表示方法。它是在计算机系统中对数据进行组织和管理的基础,用于定义数据的结构、约束和操作。 数据模型可以分为以下几种类型: 1. 层次模型:层次模型是一种树状结构的数据模型,其中数据以层次结构进行组织。每个节点可以有多个子节点,但只能有一个父节点。典型的层次模型是树形数据库。 2. 网状模型:网状模型是一种复杂的数据模型,其中数据之间可以有多对多的关系。网状模型使用指针来表示数据之间的关系,典型的网状模型是CODASYL数据库。 3. 关系模型:关系模型是一种基于关系代数的数据模型,其中数据以表的形式进行组织。关系模
56 0
|
29天前
|
编译器 程序员 C++
【C++ 17 新特性 结构化绑定】深入理解C++ 17 结构化绑定[key, value] 的处理
【C++ 17 新特性 结构化绑定】深入理解C++ 17 结构化绑定[key, value] 的处理
45 1
|
3月前
|
存储 大数据 数据管理
数据模型设计
数据模型设计
|
存储 前端开发
谈谈数据标准和数据模型
标准定义了一个参考框架,强化交互各方之间的信任。例如,当您在加油站加满汽车油箱时,“升”汽油的标准定义将确保您获得的汽油量是您认为的。反过来,“人民币”的标准定义向加油站所有者保证,您正在向他支付您购买的汽油的适当价值。
谈谈数据标准和数据模型
|
数据采集 存储 数据可视化
数据模型系列:数据模型和数据建模基础
数据模型是组织加速应用程序开发和释放数据价值的关键工具。
数据模型系列:数据模型和数据建模基础
|
搜索推荐 容灾 Java
数据模型 | 学习笔记
快速学习数据模型。
66 0
数据模型 | 学习笔记
阿里是如何定义数据的
阿里是如何定义数据的自制脑图
70 0
阿里是如何定义数据的
|
数据库 开发者
数据层设计与开发(定义数据层标准) | 学习笔记
简介:快速学习数据层设计与开发(定义数据层标准)
152 0
数据层设计与开发(定义数据层标准) | 学习笔记
|
搜索推荐 BI
由结构化到组件
组件技术是当前有效处理软件开发当中软件复用最具有价值的技术方式,组件技术的合理采用会在本质上减少软件编写的时间,提升编写效率,减少维护成本的支出。
108 0
|
存储 Prometheus 分布式计算
对数据系统的分类做一个定义
对数据系统的分类做一个定义
101 0