1. 云栖社区>
  2. 全部标签>
  3. #索引#
索引

#索引#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

在 EMR 中使用 ES-Hadoop

在 EMR 中使用 ES-Hadoop ES-Hadoop 是 Elasticsearch(ES) 推出的专门用于对接 Hadoop 生态的工具,使得用户可以使用 Mapreduce(MR)、Spark、Hive 等工具处理 ES 上的数据(ES-Hadoop 还包含另外一部分:将 ES 的索引 snapshot 到 HDFS,对于该内容本文暂不讨论)。

java hadoop Json Apache spark 索引 EMR Elasticsearch Hive class test Mapreduce ES-Hadoop EMR,

带你领略基于ELK+Kafka的日志分析系统和Elasticsearch运维实践

阿里巴巴高级工程师赵汉青主要从五个方面对Elasticsearch在日志分析场景的应用与运维实践的问题进行详细讲解,分别对Elasticsearch及相关产品介绍、基于ELK+Kafka的日志分析系统、Elasticsearch运维实践、Elasticsearch优化经验以及阿里云Elasticsearch服务几个方面进行了详细的介绍。

日志 高可用 集群 node logstash 索引 Elasticsearch index 磁盘 存储 日志分析

MongoShake——基于MongoDB的跨数据中心的数据复制平台

MongoShake是基于MongoDB的通用型平台服务,作为数据连通的桥梁,打通各个闭环节点的通道。通过MongoShake的订阅消费,可以灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。其中,集群数据同步作为核心应用场景,能够灵活实现灾备和多活的业务场景。

云栖社区 数据存储与数据库 分布式 Golang 日志 数据库 集群 索引 数据同步 数据中心 云数据库MongoDB版

PostgreSQL 单表并行bulkload的extend file lock 冲突问题解决

标签 PostgreSQL , 并行加载 , 扩展数据文件 , extend lock , 消除 背景 PostgreSQL的数据文件是一个一个BLOCK extend的,当并行的会话插入同一个表,并且都遇到free space map反馈无BLOCK可插时,需要extend数据文件,有两种做法: 1、老的版本,只有一个会话可以EXTEND FILE,其他会话等它EXTEND结束后继续EXTEND。

数据存储与数据库 PostgreSQL postgres lock 索引 test 分区表 timestamp file Digoal activity

从MySQL到HBase:数据存储方案转型的演进

一、集群化方案 1、MySQL应用的演化 MySQL与HBase说到最核心的点,是一种数据存储方案。方案本身没有对错、没有好坏,只有合适与否。相信多数公司都与MySQL有着不解之缘,部分学校的课程甚至直接以SQL语言作为数据库讲解。

mysql hbase 性能 数据库 集群 索引 磁盘 存储 数据存储

如何从设计和规范上规避RDS性能问题?【阿里云MVP月度分享】

在初创型互联网公司中,开发们整天想的唯一一件事,就是“把功能做出来”;而当公司业务量逐渐上涨、甚至翻了好几番之后,最开始的程序上的问题,就一个接一个地暴露了出来。

mysql RDS 性能 SQL 数据库 code 索引 数据库设计 数据存储 云数据库RDS

Pandas基础复习-Series

Pandas(panel data & Data Analysis):Python数据分析库。 Pandas是基于Numpy的,专用于数据分析的Python第三方库,最适用于处理大型结构化表格数据 Pandas最初是对冲...

python 容器 数据分析 DataFrame pandas 索引 index list 数据结构 数据类型 数组

Pandas基础复习-DataFrame

数据类型-DataFrame DataFrame是由多个Series数据列组成的表格数据类型,每行Series值都增加了一个共用的索引 既有行索引,又有列索引 行索引,表明不同行,横向索引,叫index,0轴,axis...

DataFrame pandas 索引 数据类型

Pandas统计分析基础

Pandas统计分析 pandas数据的基本统计分析 和numpy的函数近似 import pandas as pd dates = pd.

函数 DataFrame pandas 索引 index mean

Pandas基础-DataFrame-增删改查

DataFrame查增改删 一、查 Read (1)类list/ndarray数据访问方式 import pandas as pd dates = pd.

DataFrame pandas 索引

Pandas数据存储

Pandas数据存取 Pandas可以存取多种介质类型数据,例如:内存、文本、CSV、JSON、HTML、Excel、HDF5、SQL等 生成数据 import numpy as np import pandas as pd df = pd.

pandas 索引 timestamp Excel csv utf-8 数据存储

Pandas缺失数据处理

Pandas缺失数据处理 Pandas用np.nan代表缺失数据 import pandas as pd import numpy as np dates = pd.

数据处理 DataFrame pandas 索引 index

Pandas数据排序

Pandas数据排序 .sort_index() 在指定轴上根据索引进行排序,索引排序后内容会跟随排序 import pandas as pd import numpy as np b = pd.

排序 DataFrame pandas 索引 index

pandas库的数据类型运算

pandas库的数据类型运算 算数运算法则 根据行列索引,补齐运算(不同索引不运算,行列索引相同才运算),默认产生浮点数 补齐时默认填充NaN空值 二维和一维,一维和0维之间采用广播运算(低维元素与每一个高维元素运算)...

DataFrame pandas 索引 数据类型

Pandas时间序列

Pandas时间序列 pandas 提供了一组标准的时间序列处理工具和数据算法 数据类型及操作 Python 标准库的 datetime datetime 模块中的 datetime、 time、 calendar 等类都可以用来存储时间类型以及进行一些转换和运算操作。

函数 pandas 索引 index timestamp

Struts2常用标签总结

Struts2常用标签总结 一 介绍 1.Struts2的作用     Struts2标签库提供了主题、模板支持,极大地简化了视图页面的编写,而且,struts2的主题、模板都提供了很好的扩展性。

request 索引 test session list

夯实智能化作战大数据人才基础

在PHP+MYSQL架构网站运行过程中,往往会遇到各种性能问题影响,如MySQL、PHP、CPU、磁盘IO、缓存等,其中MySQL瓶颈就是最常见也最难解决的一种影响网站性能的因素;通常,我们会使用redis、memcached等缓存软件来缓存内容,这确实是最优的解决方案之一,但这需要网站程序的支持,然而多数常用网站程序并不支持或者不能完美支持这些缓存软件,今天我们就来谈谈如何通过MySQL自身的配置调整来优化MySQL性能,以缓解MySQL瓶颈问题。

linux 大数据 mysql innodb 程序员 memcached SQL 线程 网站性能 数据库 配置 索引 磁盘

postgresql 数据库基本操作

c dbname 切换数据库,相当于mysql的use dbname l 列举数据库,相当于mysql的show databases dt 列举表,相当于show tables d tblname 查看表结构,相当于desc tblname,show columns from tbname一般性c...

PostgreSQL mysql 函数 数据库 shell 主机 索引 序列 html 表空间

MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用

摘要 大数据计算服务MaxCompute是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案目前已在阿里巴巴内部得到大规模应用。来自阿里妈妈基础平台大规模数据处理技术专家向大家分享了MaxCompute在阿里妈妈数据字化营销解决方案上的典型应用经验。

算法 数据处理 数据流 解决方案 索引 报表 存储 MaxCompute

MySQL5.7新特性之备份工具mysqlpump的使用

mysql在备份方面本身有mysqldump工具来进行数据备份,但是该工具只支持单线程工作,这就使得备份数据的速度大大降低。mysql官方从5.7开始推出了mysqlpump工具,该工具在mysqldump的基础上又新增了很多新功能,使用起来更加直观,备份速度也有了一定的提升,具体如下:

线程 数据库 索引 多线程 性能测试 数据备份 存储过程 dump

538
GO