1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. hbase 编程

当前主题:hbase 编程

ElasticDL: Kubernetes-native 弹性分布式深度学习系统

9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度

阅读全文

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平

阅读全文

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事

阅读全文

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分

阅读全文

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。 海量计算最开始的方案是提高

阅读全文

结构化数据存储,如何设计才能满足需求?

![1](https://yqfile.alicdn.com/9bfc4cb69cad1607e7a072f658fc7d13782a7051.png) 阿里妹导读:任何应用系统都离不开对数据的处理,数据也是驱动业务创新以及向智能化发展最核心的东西。数据处理

阅读全文

阿里开发者技术交流钉钉群汇总【2019】

垂直技术领域开发者 Java开发者技术群入群方式 钉钉扫描下方二维码进群: 云计算开发者技术群入群方式 钉钉扫描下方二维码进群: Kubernetes开发者技术群入群方式 钉钉扫描下方二维码进群: serverless开发者技术群入群方式 钉钉扫描下方二维码

阅读全文

技术人最不该忽视可视化数据分析! | 9月2号栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.技术人最不该忽视可视化数据分析! 在这个“人人都是数据分析师”的时代,阿里的同学几乎都在参与数据的采集、加工与消费。数据可视化作为连接“加工——消费”的重要一环,其质量至关重要。优秀的可

阅读全文

hbase 编程相关问答

提问题

写hbase+接口的时候是否需要单例模式,hbase+连接是否需要关闭?【应用场景:sparkstreaming+从kafka+拿数据存入hbase

写hbase+接口的时候是否需要单例模式,hbase+连接是否需要关闭?【应用场景:sparkstreaming+从kafka+拿数据存入hbase

阅读全文

hbase DroppedSnapshotException 异常

Hbase 出现故障,查看hmaster 日志,发现异常导致regionserver挂掉了: ERROR org.apache.hadoop.hbase.master.MasterRpcServices:Region Server * report a fa

阅读全文

HBASE2.0 MOB compaction问题

最近在准备使用HBASE_MOB作为S3存储的后端实现,在代码阅读验证时发现问题如下: (1)在社区的最初设计时,是有一个外部的MR工具进行辅助compaction,但是在最新代码中已经去掉,由HMASTER进行相关工作。但是进程本身只有HMASTER单点进

阅读全文

加盐一般在线上有什么快速读全量数据的思路

1、HBase 建议:https://hbase.apache.org/1.2/book.html#rowkey.design 2、Phoenix建议:https://phoenix.apache.org/salted.html

阅读全文

MongoDB

简介编辑 MongoDB[1] 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 mongoDB mongoDB MongoDB[2] 是一个介于关系数据库和非关系数据库之间的产品,是非关系数

阅读全文