【Spark Summit EU 2016】在Spark集群中内置Elasticsearch

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,在使用ES-Hadoop进行开发的过程中,使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情,为了在开发过程中更好地Elasticsearch实例,并且尽可能地降低开发团队之间的依赖关系,使用ES快照作为团队合作的接口,并且提高QA的效率,所提提出了在Spark集群中内置Elasticsearch的方式。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,在使用ES-Hadoop进行开发的过程中,使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情,为了在开发过程中更好地Elasticsearch实例,并且尽可能地降低开发团队之间的依赖关系,使用ES快照作为团队合作的接口,并且提高QA的效率,所以提出了在Spark集群中内置Elasticsearch的方式。


df541f77f980ecf2d5582e22287d09ab80e26617

f016af61314474ea89885275caea27bec55429d2

28dee895eee9c5c7c3b4d29f2ee94d6137159258

d9a19d0a13aaf8131b681f0ba69e7b6054e7335d

f6c68de54afb79607d554db481e0f753b7c6e1be

3f2082197aec4de595d38cd18e5a4545997646b5

ecb281b2968065cfabde31e85cd5a37fc6b79b4f

6b1182568c8cc7fc2bf4894b5f639ea71038153f

f05245bb53a9a3f3f810f0f2eb44b9720628e81a

e580ea867d2bca50ee4f7613e8a18d2a8c4c7cb1

bec79c9db301a05ba36bf8027f66d8674a5550c7

f6e329ded2b252522b48ffa6b6e4921c2a3eece2

26ada11cfaf50b1331303f5aded43529c4fd0f81

90155d7bd3d37912ff015b7c3489aca45564334d

2c271215a5850ead320ba44b81ddb090d3818808

5ecb08a1d3b19a3bc82d134ce5e7fc9ea99bdfb8

22303e74da86786dc899de67b83a055b10355fc5

6b8ebf4d3a15eb368e981e1ed392a557fd327d6d

cfabeac37953f9b28fb1a6c6d04e20096ac318b0

a5c79f29cb4b4246ab506519bcfcb55136cca49a

e4db9f40218f5d33b32b5f8b9d244121a3400bfa

07c81d75eb212fc3c0dc3bd0ffcab1ae6fb58d3c

807a906884874c2c3b8ddffb9e97e3c6c0551452

60ab87f3a2c9371b073d6ef184634515ec316dbd

f78c3030ec9e8189187e3dacbc9183db0035610c

add1fe03f9a3c9d56c65501006a79e8360272121

153d8f30dc2a38ad5d33d2b715e8c2d00d0ae42f

2195db75acc63b2933c6824be68d850a9ddca463

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
26天前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
112 0
|
2月前
|
Docker 索引 容器
Elasticsearch跨集群检索配置
Elasticsearch跨集群检索配置
45 1
|
4月前
|
存储 Linux
ElasticSearch集群快照
ElasticSearch集群快照
236 1
|
5月前
|
前端开发 Java Docker
利用 docker 部署 elasticsearch 集群(单节点多实例)
利用 docker 部署 elasticsearch 集群(单节点多实例)
258 0
|
4月前
|
安全 大数据 Java
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
elasticsearch|大数据|低版本的elasticsearch集群的官方安全插件x-pack的详解
53 0
|
3月前
|
分布式计算 API Apache
Spark与Elasticsearch的集成与全文搜索
Spark与Elasticsearch的集成与全文搜索
|
4月前
|
分布式计算 监控 Java
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
Note_Spark_Day02:Standalone集群模式和使用IDEA开发应用程序
51 0
|
5月前
|
JSON 数据格式 索引
实际使用Elasticdump工具对Elasticsearch集群进行数据备份和数据还原
就可以通过Elasticsearch的导入导出工具Elasticdump来实现,可以将Elasticsearch不同集群的数据进行索引备份和还原。
93 0
|
2月前
|
开发工具 Docker 容器
docker安装集群版ElasticSearch
docker安装集群版ElasticSearch
|
2月前
|
Java 网络安全 数据安全/隐私保护
高可用elasticsearch集群搭建
高可用elasticsearch集群搭建