备案控制台
探索云世界
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

数据无边界:非结构化数据在MaxCompute上的处理

2016-11-16 3647
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文PPT来自阿里云数据事业部高级专家应答于10月15日在2016年杭州云栖大会上发表的《数据无边界:结构化数据在MaxCompute上的处理》。

这是DT（Data Technology）时代，每天有海量数据的加速产生，而每天产生的海量数据80%+是非结构化的，如何把握数据资源服务大众，激发生产力是每个互联网企业需要掌握的核心竞争力。我们的理想是MaxCompute在SQL线上实现与其它云数据(OSS, TableStore等) 的互联互通,用OSS（阿里云对外提供的海量、安全和高可靠的云存储服务）几种非结构化数据处理为范例，未来我们可以期待对各种非结构化数据的分布式处理成为可能，甚至开启气象数据、基因数据等多种大数据，建立与各种分布式系统的生态连接的无限可能。

885e91f4a81012f3e8f83c0889e02e82ab700daac040100e242e980119dfb6d6b893b5c15fa7ed89ba36670cbf24d6fed44988c5e2b0807357d4f03ea4f18007dd88e628b8ab6e6e2a215ea14c33a20ad971b9f8f045b2b13c80e925b83694465a258e07db8b39ee9f1c37664c7fb6c32f5fa0174e86980ff3520eed0b52a62815b6c6749b801b78c5ce4ffdfaab0b56c37d6c15471ab1c3965a9587b77c66b83e7da60c29172542f453007f4258d9e451b3518170fdf914e76f7007fd4edd80c153a890b469b114dbbede8b957299e1d4d526f309498a324653ac4948504676bc7dd8d30df5aba0ae81ff99aebd7f642e4d1ba7c694271396c89f9f367574dc978b57aecf4022099128f0561b10d94d81ede4cde81734a76da43b78244f33ba93cefe5229ce6362e19e0a7b3d4c52a16d53060b4adf9a8ed863d317bed18d5e


欢迎加入MaxCompute钉钉群讨论

35a12d1cfb9f44bb6eead5bf43e9e0ca60393eff


文章标签：
云原生大数据计算服务 MaxCompute
大数据
分布式计算
MaxCompute
关键词：
云原生大数据计算服务 MaxCompute数据
云原生大数据计算服务 MaxCompute结构化
数据结构化云原生大数据计算服务 MaxCompute
云原生大数据计算服务 MaxCompute边界
数据边界结构化云原生大数据计算服务 MaxCompute
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景，如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
云计算小粉
目录
相关文章
cuicuicuic
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
47 0
听风de歌
|
11天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据，源于人类活动，如在线行为和社交互动，是大数据的关键部分，用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性，广泛应用于市场营销和社交媒体分析。然而，数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才，以充分发挥其潜力。
听风de歌
14 3
云栖战略参考
|
14天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”，百年制造企业用大数据实现“降本增效”
目前，松下中国旗下的64家法人公司已经有21家加入了新的IT架构中，为松下集团在中国及东北亚地区节约了超过30%的总成本，减少了近50%的交付时间，同时，大幅降低了系统的故障率。
云栖战略参考
81 0
三分钟热度的鱼
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
25 0
张飞的猪
|
1月前
|
存储 监控 大数据
数据仓库(11)什么是大数据治理，数据治理的范围是哪些
什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？
张飞的猪
67 0
cuicuicuic
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
38 0
cuicuicuic
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
36 0
游客762btuqu5wybw666
|
3月前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI关于maxcompute上用protobuf 处理数据，比较方便的方式
机器学习PAI关于maxcompute上用protobuf 处理数据，比较方便的方式
游客762btuqu5wybw666
48 2
cuicuicuic
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
cuicuicuic
38 1
诸葛子房
|
4月前
|
存储 SQL 大数据
dataCompare大数据对比之异源数据对比
dataCompare大数据对比之异源数据对比
诸葛子房
110 0
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
  • 2
    阿里巴巴飞天大数据平台MaxCompute（原名ODPS）全套攻略（持续更新20200109）
  • 3
    阿里云开源离线同步工具DataX3.0介绍
  • 4
    odps是什么?
  • 5
    空格App亿元A轮融资背后：云上多场景技术架构实践与经验
  • 6
    2017杭州云栖大会FAQ（持续更新中）
  • 7
    使用 odps-jdbc 接入 ODPS，不再从零开始
  • 8
    【大数据干货】轻松处理每天2TB的日志数据，支撑运营团队进行大数据分析挖掘，随时洞察用户个性化需求。
  • 9
    美柚与MaxCompute数据同步架构说明
  • 10
    在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn
  • 1
    基于 MaxCompute MaxFrame 实现分布式 Pandas 处理
    188
  • 2
    给技术新人的ODPS优化建议
    33
  • 3
    一文解析 ODPS SQL 任务优化方法原理
    41
  • 4
    Kotlin 中如何使用 Fuel 库进行代理切换？
    202
  • 5
    常用的有限元网格生成方法
    227
  • 6
    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
    446
  • 7
    MaxCompute( 原名ODPS)大数据容灾方案与实现（及项目落地实例）专有云
    206
  • 8
    MaxCompute 近实时增全量处理一体化新架构和使用场景介绍
    138713
  • 9
    阿里云 MaxCompute MaxFrame 开启免费邀测，统一 Python 开发生态
    307
  • 10
    数仓学习---数仓开发之DWS层
    353

    • 相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 相关课程

    更多
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第三阶段）
  • 2020版大数据实战项目之DMP广告系统（第四阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
  • 2020版大数据实战项目之DMP广告系统（第六阶段）
  • 2020版大数据实战项目之DMP广告系统（第七阶段）

    • 相关电子书

    更多
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践
  • 大数据&AI实战派 第2期

    • 相关实验场景

    更多
  • 基于Hologres轻松玩转一站式实时仓库
  • 数据湖构建DLF快速入门
  • 库仓一体实时数据分析
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • 基于MaxCompute的热门话题分析
  • EMR数据湖开发治理之用户画像分析
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）