AI 助理
备案控制台
开发者社区 数据库 NoSQL数据库 文章 正文

HBase+Spark技术双周刊 第四期

2019-01-19 3521
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
Error: No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:578343
    at h (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:379364)
    at Generator.<anonymous> (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:380687)
    at Generator.next (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:379774)
    at Pe (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:491844)
    at a (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:492048)
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:492109
    at new Promise (<anonymous>)
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:491988
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:578533
云数据库 MongoDB，独享型 2核8GB
推荐场景：
构建全方位客户视图
No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
Error: No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:578343
    at h (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:379364)
    at Generator.<anonymous> (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:380687)
    at Generator.next (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:379774)
    at Pe (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:491844)
    at a (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:492048)
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:492109
    at new Promise (<anonymous>)
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:491988
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:578533
云原生多模数据库 Lindorm，多引擎 多规格 0-4节点
推荐场景：
海量数据下Lindorm查询实践
No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
Error: No entry or manifest in @ali/alfa-aliyundotcom-free-widget-goods-card
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:578343
    at h (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:379364)
    at Generator.<anonymous> (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:380687)
    at Generator.next (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:379774)
    at Pe (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:491844)
    at a (https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:492048)
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:492109
    at new Promise (<anonymous>)
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:491988
    at https://g.alicdn.com/aliyun/developer-aliyun-com-fe/2.8.49/scripts/articleDetail.js:1:578533
简介： 群直播 线下活动 推荐专家

a7c54fbf1d2733e0ce75cdade4ccc903ffd2d0e6

直播往期回顾——视频回看及PPT下载


Solr增强HBase检索能力基础介绍及场景
在本期视频中，阿里高级开发工程师天斯介绍了Solr如何增强HBase检索能力，并通过示例帮助大家快速上手HBase+Solr查询应用。

HBase钉钉群直播预告


1月22日 Phoenix 全局索引原理与实践 张赟
1月29日 Spark on rds/MongoDB/HBase/Redis/OSS多数据源 云覆

阿里云栖开发者沙龙——线下活动


【1月18日 下午1:30】 阿里云栖开发者沙龙北京专场—互联网下半场的角逐：玩转轻资产的大数据服务
【1月19日 下午1:30】 阿里云栖开发者沙龙合肥专场：高并发企业级应用架构实践分享

推荐专家


沐远——阿里云数据库技术专家
沐远，专注大数据分布式计算数据库领域， 研发Spark及自主研发内存计算，目前为广大公有云用户提供专业的云HBase数据库及计算服务。想了解，沐远 “一个数据引擎开发者的成长之路”，点击链接查看吧！

技术社群


【HBase生态+Spark社区大群】
群福利：群内每周进行群直播技术分享及问答
加入方式1：点击link申请加入
加入方式2：钉钉扫码加入
1

文章标签：
云数据库HBase版
数据库
大数据
Hbase
分布式数据库
开发者
关键词：
apache spark技术
云数据库HBase版技术
apache spark hbase
云数据库HBase版spark
hbase apache spark
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入，无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&amp;RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
hbase小能手
+关注
112文章338问答
目录
打赏
0
0
0
0
3692
分享
相关文章
土木林森
|
4月前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
257 2
土木林森
|
4月前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
228 1
喜欢猪猪
|
6月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
喜欢猪猪
103 0
张飞的猪
|
8月前
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
201 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
1941623231718325
|
9月前
|
分布式计算 Hadoop 大数据
大数据技术：Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构，擅长处理大规模批处理任务，依赖HDFS和MapReduce，具有高可靠性和生态多样性。Spark是快速数据处理引擎，侧重内存计算，提供多语言接口，支持机器学习和流处理，处理速度远超Hadoop，适合实时分析和交互式查询。两者在资源占用和生态系统上有差异，适用于不同应用场景。选择时需依据具体需求。
1941623231718325
395 1
jjczqyjxgdegi
|
9月前
|
机器学习/深度学习 分布式计算 API
技术好文：Spark机器学习笔记一
技术好文：Spark机器学习笔记一
jjczqyjxgdegi
62 0
游客zn7mvnkypuy76
|
9月前
|
存储 SQL 分布式计算
技术心得记录：深入学习HBase架构原理
技术心得记录：深入学习HBase架构原理
游客zn7mvnkypuy76
123 0
hnrk7epeorhrk
|
9月前
|
存储 缓存 分布式计算
必知的技术知识：Hbase配置（伪分布式模式）
必知的技术知识：Hbase配置（伪分布式模式）
hnrk7epeorhrk
829 0
开源大数据EMR
|
SQL 分布式计算 Scala
[转载] 是时候学习真正的 spark 技术了
spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也要...
开源大数据EMR
2548 0
郑小健
|
4月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
307 2
ClickHouse与大数据生态集成：Spark & Flink 实战
数据库

NoSQL数据库
+关注

热门文章

最新文章

  • 1
    redis4.0、codis、阿里云redis 3种redis集群对比分析
    35578
  • 2
    Redis Stream——作为消息队列的典型应用场景
    30158
  • 3
    HBase全网最佳学习资料汇总
    24056
  • 4
    MongoDB Driver：使用正确的姿势连接复制集
    21675
  • 5
    阿里云图数据库GDB揭秘
    20296
  • 6
    案例篇-HBase 基本知识介绍及典型案例分析
    20227
  • 7
    MongoDB查询优化：从 10s 到 10ms
    17613
  • 8
    【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题
    15610
  • 9
    车纷享：基于阿里云HBase构建车联网平台实践
    13212
  • 10
    Apache Cassandra 快速入门指南
    11717
  • 1
    Redis应用—9.简单应用汇总
    56
  • 2
    【赵渝强老师】管理MongoDB的运行
    60
  • 3
    Redis应用—8.相关的缓存框架
    60
  • 4
    Redis应用—7.大Value处理方案
    73
  • 5
    Redis应用—6.热key探测设计与实践
    90
  • 6
    Redis应用—5.Redis相关解决方案
    32
  • 7
    Redis应用—4.在库存里的应用
    32
  • 8
    【赵渝强老师】监控Redis
    40
  • 9
    Redis应用—3.在购物车里的应用
    24
  • 10
    Redis应用—2.在列表数据里的应用
    60

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 云数据库HBase版使用教程
  • HBase入门教程
  • 分布式数据库 HBase 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 大数据时代的存储 ——HBase的实践与探索
  • Hbase在滴滴出行的应用场景和最佳实践
  • 阿里云HBase主备双活

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    获取百炼API-KEY