已有4人关注此标签
好程序员大数据培训分享Apache-Hadoop简介
作者: 好程序员
66人浏览
好程序员大数据培训分享Apache-Hadoop简介，一、Hadoop出现的原因：现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。
好程序员大数据培训分享之HDFS设计思想和相关概念
作者: 好程序员
47人浏览
好程序员大数据培训分享之HDFS设计思想和相关概念：一、HDFS简介 1、简单介绍 HDFS（Hadoop Distributed FileSystem），是Hadoop项目的两大核心之一，源自于Google于2003年10月发表的GFS论文，是对GFS的开源实现。
好程序员大数据培训分享之Hadoop的生态系统
作者: 好程序员
68人浏览
好程序员大数据培训分享之Hadoop的生态系统，这次，我整理了一下hadoop的生态系统。hadoop生态系统，意思就是以hadoop为平台的各种应用框架，相互兼容，组成了一个独立的应用体系，也可以称之为生态圈。
Ambari和ClouderaManager对比
作者: 好程序员
66人浏览
好程序员大数据培训分享之Ambari和ClouderaManager对比，1 、什么是CDH，Ambari？ Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。
奈学教育分享：Hadoop分布式系统HDFS工作原理
作者: 游客fjhrwbvesx622
95人浏览
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
数据中台的存储系统和计算平台枚举
作者: 伴弋
2913人浏览
采集&传输层 SqoopHadoop、关系型数据库之间传输数据的工具。传输时，会启动多个MR作业并发的传输数据 DataX阿里巴巴开源的数据同步工具，用来在各种异构数据源之间同步数据。
大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
作者: 公众号胖滚猪学编程
18092人浏览
本文梳理了常见的hadoop生态圈中的组件：Hdfs+Yarn+HBase+Spark+Storm的单点故障问题，出现原因以及单点故障的原理和解决方案（构建HA（High Available）高可用架构）。阅读本文之前，最好了解清楚各组件的架构原理。
Hadoop CDH版本安装和启动（CentOS7）
作者: 优惠活动
94人浏览
Hadoop CDH版本安装和启动（CentOS7） 1、创建hadoop组和用户，useradd hadoop passwd hadoop groupadd hadoops usermod -G hadoops hadoop(将hadoop添加到hadoops组中)。
spark streaming 流式计算-----容错（hbase幂等性修改）
作者: 五维空间s
89人浏览
在做流式计算过程中，最复杂最难做的莫过于数据幂等性修改操作的设计。先解释一下概念【幂等性操作】，幂等性概念来源于数学专业表示对一个表达式做多次相同的操作，表达式不会改变。例如：逻辑回归中的Sigmod函数，n次求导之后依然坚挺。
Hadoop社区比 Ozone 更重要的事情
作者: 开源大数据EMR
481人浏览
本文回顾了最近几年Hadoop项目的发展，着重探讨个人对Ozone的看法和理解，不求正确，引玉而已，欢迎业内专家拍砖讨论。
Alluxio深度学习实战-1：体验在HDFS上运行PyTorch框架
作者: 必嘫
1295人浏览
在HDFS上运行PyTorch程序本来需要用户修改PyTorch的适配器代码进行完成的工作，通过Alluxio，我们简化了适配工作，能够快速开展模型的开发和训练。而通过Kubernetes平台，这件事情变得非常简单，欢迎尝试。
提前突击了这近200道大数据面试题，果然头条、京东都给了Offer
作者: 游客6yvtzop54mlgk
441人浏览
面试题包括Java、大数据开发、大数据运维、大数据分析、大数据架构等等 Q1：老师线上 6000+规模集群，抛开一些其它组件集群，仅讨论 HDFS 数据存储集群，保守理应也在有 3000 节点左右，想知道这些存储节点只是单集群NameNode 集群来维护吗？还是多集群独立维护的，如果是多集群存储...
AI 时代，还不了解大数据？
作者: 云栖号资讯小哥
568人浏览
如果要问最近几年，IT行业哪个技术方向最火？一定属于ABC，即AI + Big Data + Cloud，也就是人工智能、大数据和云计算。
全方位认识HBase：一个值得拥有的NoSQL数据库（一）
作者: hope+
342人浏览
前言：说起HBase这门技术，在认知上对于稍微接触或使用过它的人来讲，可能只是百千数据库中一个很普通的库，大概就像我对Redis的认知一样：缓存嘛！可对于HBase，我确实是带着某些感情在的。今日突然萌生了一个生趣的想法，想抛开技术的视角，从情感的角度，像写小说一样，写写这位老朋友，这可能会有点滑稽吧，不过我觉得很放松。
在阿里云 E-MapReduce 上使用Data Science集群进行深度学习
作者: 阿里云E-MapReduce团队
424人浏览
Data Science 集群是阿里云 E-MapReduce 在 3.13.0 版本以后推出的专门用于机器学习，深度学习的新的机型。客户可以通过 Data Science 集群选用 GPU 或者 CPU 机型对数据进行训练，训练的数据可以存储在 HDFS 和 OSS 上，目前支持 TensorFlow 进行分布式训练，方便用户开发基于大数据存储，分布式调度的深度学习应用。
趣头条基于 Flink+ClickHouse 构建实时数据分析平台
作者: ApacheFlink
1296人浏览
本文由趣头条数据平台负责人王金海分享，主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景。
五分钟学后端技术：一篇文章教你读懂大数据技术栈！
作者: 程序员黄小斜
1168人浏览
作者：网易云链接：https://www.zhihu.com/question/27696290/answer/381993207来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
