1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. Y>
  5. 云计算搭建hadoop集群

当前主题:云计算搭建hadoop集群

云计算搭建hadoop集群相关的博客

一文读懂分布式架构知识体系(内含超全核心知识大图)

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:**《**云原生时代,分布式系统设计必备知识图谱(内含22个知识点)**》** 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式

阅读全文

那些年,我们见过的 Java 服务端“问题”

导读 明代著名的心学集大成者王阳明先生在《传习录》中有云: 道无精粗,人之所见有精粗。如这一间房,人初进来,只见一个大规模如此。处久,便柱壁之类,一一看得明白。再久,如柱上有些文藻,细细都看出来。然只是一间房。 是的,知识理论哪有什么精粗之分,只是人的认识程

阅读全文

实时计算Flink云原生版本正式发布

Why Flink on Kubernetes Apache Flink是Apache社区的顶级开源项目,主攻流计算领域,具备高吞吐,低延时的特点,在流计算领域已经取代了storm/spark streaming,成为了目前流式处理领域的最热门引擎。主要应用

阅读全文

阿里云智能--基础产品技术月刊 2019年8月

一、商用产品技术 TOP1 智能接入网关SAG发布集中控制台配置功能,提升企业客户网络管理维护效率 在规模较大的企业用户场景,企业线下IDC之间以及访问云上资源,会在多地域部署阿里云智能接入网关SAG,传统的本地web配置,因为IT管理人员经验和技能水平参差

阅读全文

如何在 Apache Flink 中使用 Python API?

作者:孙金城(金竹)整理:韩非 本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache

阅读全文

Docker容器实战(三) - Docker的自我重新定位

Docker公司为什么在Docker项目已经取得巨大成功之后,执意走回已经让无数先驱折戟的PaaS路呢? 实际上,Docker项目一直伴随着公司管理层和股东们的阵阵担忧。他们心里明白,虽然Docker项目备受追捧,但**用户们最终要部署的,还是他们的网站、服

阅读全文

好程序员大数据学习路线分享hadoop常用四大模块文件

  好程序员大数据学习路线分享hadoop常用四大模块文件   1.1.1core-site.xml(工具模块)   包括Hadoop常用的工具类,由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、

阅读全文

独家 | 关于数据湖架构、战略和分析的8大错误认知(附链接)

翻译:张玲 校对:丁楠雅 文章来源:微信公众号 数据派THU 本文打破有关数据湖的8个错误认知,错误认知包括3方面,还提出了5个小技巧,以构建一个灵活的、可交付业务价值的数据湖。 本文的目的是构建数据湖,并提供适应企业数据策略的背景信息。咨询公司和提供商提出

阅读全文

DataWorks高级功能场景化案例分享

DataWorks高级功能场景化案例分享 自2009年DataWorks立项,伴随着阿里巴巴集团登月计划、公共云和专有云的发布,直到2018年V2.0的发布,DataWorks已经走过了十年的历程。本文主要分享了DataWorks商业化增值版本中高级功能,分

阅读全文

数道云解析:基于Hadoop集群环境的数据采集和舆情监测技术分析,Hadoop在大数据平台搭建中扮演着何种角色?

hadoop核心技术以及框架搭建,基于**Hadoop大数据**如何实现数据采集,舆情监测? 互联网大数据时代,海量**数据采集**、**数据分析**、**舆情监测**愈来愈最重要。如何从互联网如此大集群数据中提取出有价值的数据也是网络资源实现其价值的重要基

阅读全文

实录|互联网架构“高可用”在线技术交流

前段时间,受@谢工 邀请,在GitChat平台首发《究竟啥才是互联网架构“高可用”》。 问:在缓存层rehash过程中必然会有脏数据。一致性hash实际上只能减少rehash的成本,不能消灭脏数据,这种脏数据有没有办法避免? 答:如文章《究竟啥才是互联网架构

阅读全文

数据库产品事业部月刊(2019年7月)

一、重点事件 阿里云峰会·上海站 & 开发者大会(7月24日-25日): 7月24日,阿里云开发者大会数据库专场圆满落幕,专场内容包括云数据库架构和演进、POLARDB、AliSQL 8.0的特性和改进、AnalyticDB for MySQL:PB级云数仓

阅读全文

选型宝访谈:当业务炸裂式增长 ,如何让关系型数据库平滑扩展?

当业务炸裂式增长,如何让关系型数据库平滑扩展? 爱奇艺、饿了么、摩拜单车…这些国民级应用的疯狂增长背后,是怎样一款国产的分布式NewSQL数据库,在做平滑支撑? 对话内容 选型宝:您怎么理解数据库技术的发展历程,分几个阶段? 黄东旭:其实整个大的背景大概是这

阅读全文

Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

作者:沙晟阳 前言 本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。 课程内容包括: Flink 开发环境的部署和配置 运行 Flink 应用(包括:单

阅读全文

【转载】阿里云飞天大数据平台亮相

7月25日,阿里云飞天大数据平台亮相阿里云峰会上海站,拥有中国唯一自主研发的计算引擎,是全球集群规模最大的计算平台,最大可扩展至10万台计算集群,支撑海量数据存储和计算。在民生服务领域,飞天大数据平台已经“最多跑一次”、城市大脑等场景中,协助政府优化服务模式

阅读全文

终于有人把云计算、大数据和人工智能讲明白了!

一、架构的三个维度和六个层面 1.1、三大架构 在互联网时代,要做好一个合格的云架构师,需要熟悉三大架构。 第一个是IT架构,其实就是计算,网络,存储。这是云架构师的基本功,也是最传统的云架构师应该首先掌握的部分,良好设计的IT架构,可以降低CAPEX和OP

阅读全文

Apache Flink 零基础入门(四):客户端操作的 5 种模式

作者:周凯波(宝牛) 1.环境说明 在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行,今天的课程主要是讲 Flink 的客户端操作。本次讲解以实际操作为主。这次课程是基于社区的 Flink 1.7.2 版本,操作系统是 Mac 系统

阅读全文

交易数据清算从8小时缩至1.5小时,飞天大数据平台MaxCompute解决余额宝算力难题

天弘基金作为国内总规模最大的公募基金,阿里云MaxCompute为我们构建了企业级一站式大数据解决方案。MaxCompute对于海量数据的存储、运维、计算能力强大且安全稳定,MaxCompute服务将原本需要清算8小时的用户交易数据缩短至清算1个半小时,同时

阅读全文

权威解读:阿里云实时计算究竟对Apache Flink™️做了哪些‘改造’?

关于实时计算 ![image.png](https://ucc.alicdn.com/pic/developer-ecology/d1fa038f48b846d6a907c8b93c9067db.png) 实时计算LOGO 实时计算(Alibaba Clou

阅读全文

【转载】刚刚又传来好消息,硬核!新一代大国重器!MaxCompute

作者:杨国英 十年前,马云、马化腾和李彦宏坐在一起开会聊起它,马化腾说为时过早,李彦宏说没有新意,只有马云说,如果我们不做,将来会死掉!为了做它,整个公司几乎吵到分裂! 然而十年后的今天,它已经成为新一代大国重器,中国最硬核的技术,与美国巨头抗衡的唯一中国力

阅读全文

24