已有4人关注此标签
数据湖架构，为什么需要“湖加速”？
作者: 云栖号资讯小哥
4095人浏览
在开源大数据领域，存储/计算分离已经成为共识和标准做法，数据湖架构成为大数据平台的首要选择。基于这一范式，大数据架构师需要考虑三件事情： 第一，选择什么样的存储系统做数据湖(湖存储)？ 第二，计算和存储分离后，出现了性能瓶颈，计算如何加速和优化(湖加速)？ 第三，针对需要的计算场景，选择什么样的计算引擎(湖计算)？ 湖存储可以基于我们熟悉的HDFS，在公共云上也可以选择对象存储，例如阿里云OSS。
基于JindoFS+OSS构建高效数据湖
作者: 云栖号资讯小哥
3344人浏览
为什么要构建数据湖 大数据时代早期，Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展，所有云厂商都在不断完善自家的对象存储，来更好地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。
使用 E-MapReduce 构建云上数据胡
作者: 阿里云E-MapReduce团队
0人浏览
本篇来自于阿里巴巴E-MapReduce(简称为EMR)产品经理子关，分享云上使用E-MapReduce快速构建企业数据湖的落地方案以及客户最佳实践。
字节跳动基于 Flink 的 MQ-Hive 实时数据集成
作者: 阿里云实时计算Flink
26人浏览
在数据中台建设过程中，一个典型的数据集成场景是将 MQ (Message Queue，例如 Kafka、RocketMQ 等)的数据导入到 Hive 中，以供下游数仓建设以及指标统计。由于 MQ-Hive 是数仓建设第一层，因此对数据的准确性以及实时性要求比较高。
再出王牌：阿里云 Jindo DistCp 全面开放使用，成为阿里云数据迁移利器
作者: 开源大数据EMR
15人浏览
此前 Jindo DistCp 仅限于E-MapReduce产品内部使用，此次全方位面向整个阿里云OSS/HDFS用户放开，并提供官方维护和支持技术，欢迎广大用户集成和使用。
7月2日 JindoFS 系列直播【Hadoop 小文件/冷文件分析】
作者: 阿里云E-MapReduce团队
49人浏览
庞大的小文件和冷文件数量会对HDFS的性能产生不利影响，严重时甚至影响业务稳定性，这个主题将介绍对大容量HDFS进行小文件和冷文件分析的方法，并基于分析结果可以采取哪些处理措施。
文件存储 HDFS添加挂载点前提条件及步骤
作者: 小生生
233人浏览
挂载点是文件系统实例在专有网络或经典网络内的一个访问目标地址，每个挂载点都对应一个域名，ECS和容器需要通过此域名访问文件存储HDFS中的数据。文件存储HDFS目前只支持专有网络类型挂载点。
