备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

4月23日JindoFS系列直播【大规模文件元数据下的耗时操作优化】

2020-04-21 845
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。

主题：

大规模文件元数据下的耗时操作优化

时间：

2020.4.23（周四）19:00

参与方式：

扫描下方二维码加入钉钉群，群内直接观看

或点击直播间链接：

https://developer.aliyun.com/live/2684

讲师：

孙大鹏花名诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

直播简介：

本次直播主要介绍大数据生态中常见的元数据服务部署形态，并分析大规模文件元数据下在生产环境中可能遇到的问题，以及针对这些问题如何进行优化和调整。
大规模文件元数据下的耗时操作优化 4.23.png

文章标签：
开源大数据平台 E-MapReduce
Apache
存储
大数据
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
工程师甲
|
存储 弹性计算 自然语言处理
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
本文将揭秘阿里云在面对 PB 级数据量挑战下所做的内核优化实践。
工程师甲
5009 0
PB级数据量背后阿里云 Elasticsearch 的内核优化实践
德哥,digoal
|
1天前
|
存储 关系型数据库 分布式数据库
PolarDB 开源版 使用TimescaleDB 实现时序数据高速写入、压缩、实时聚合计算、自动老化等
背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力.本文将介绍PolarDB 开源版 使用TimescaleDB 实现时序数据高速写入、...
德哥,digoal
2 0
阿里云实时计算Flink
|
存储 消息中间件 SQL
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
Generic Log-Based Incremental Checkpointing 功能介绍
阿里云实时计算Flink
3636 5
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
PolarDB-Evangelist
|
存储 SQL Kubernetes
[版本更新] PolarDB-X on OSS 提供冷热数据分离存储
4月底，PolarDB-X正式发布2.1.1 版本，重点推出冷热数据新特性，可以支持业务表的数据按照数据特性分别存储在不同的存储介质上，比如将冷数据存储到Aliyun OSS对象存储上。
PolarDB-Evangelist
10687 0
[版本更新] PolarDB-X on OSS 提供冷热数据分离存储
阿里云E-MapReduce团队
|
SQL 存储 分布式计算
数据湖实操讲解【 JindoTable 计算加速】第二十二讲：对 Hive 数仓表进行高效小文件合并
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
1069 0
数据湖实操讲解【 JindoTable 计算加速】第二十二讲：对 Hive 数仓表进行高效小文件合并
阿里云E-MapReduce团队
|
SQL 存储 缓存
数据湖实操讲解【 JindoTable 计算加速】第二十讲：Spark 对 OSS 上的 ORC 数据进行查询加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
543 0
数据湖实操讲解【 JindoTable 计算加速】第二十讲：Spark 对 OSS 上的 ORC 数据进行查询加速
阿里云E-MapReduce团队
|
存储 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
5121 0
数据湖实操讲解【JindoFS 缓存加速】第十四讲：指定表和分区来预先缓存，查询分析更高效
阿里云E-MapReduce团队
|
SQL 缓存 分布式计算
数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
5273 0
数据湖实操讲解【JindoFS 缓存加速】第十五讲：云上计算云下数据：HDFS 缓存加速
阿里云E-MapReduce团队
|
SQL 存储 缓存
数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
11232 0
数据湖实操讲解【JindoFS 缓存加速】第十三讲：Presto 访问 OSS 透明缓存加速
阿里云E-MapReduce团队
|
存储 SQL 缓存
数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
1775 0
数据湖实操讲解【JindoFS 缓存加速】第十二讲：Spark 访问 OSS 透明缓存加速
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    HIVE MapJoin异常问题处理总结
  • 4
    漫谈分布式计算框架
  • 5
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 6
    阿里封神-大数据处理技术漫谈
  • 7
    JindoFS概述：云原生的大数据计算存储分离方案
  • 8
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 9
    玩转阿里云EMR三部曲-中级篇 集成自有服务
  • 10
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    69
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    227
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    143
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    50
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    398
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117485
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    391
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    11
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288

    • 相关课程

    更多
  • 分布式文件存储系统技术及实现
  • 阿里云实时数仓实战 - 数据生成及采集
  • MaxCompute行业应用及调优
  • 实时数据接入：5分钟上手 Flink MySQL 连接器
  • Sqoop 企业级大数据迁移方案实战
  • 基于Flink的实时大数据应用Demo

    • 相关电子书

    更多
  • 实战-如何基于HBase构建图片视频数据的统一存储检索方案
  • 基于etcd的超大规模生产级弹性键值存储实践与优化
  • Kubernetes下日志实时采集、存储与计算实践

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
  • 使用CloudLens采集PolarDB日志并进行审计分析
  • Lindorm AIGC：十分钟搞定智能问答 + 多模态检索
  • 基于Flink+Tair搭建实时监控大屏
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）