【大数据新手上路】“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据

简介: 老板每天都要出这些业务数据(销售总额、总交易量、总点击次数、总加入购物车次数、总加入收藏夹次数...),我得想个一劳永逸的方法了…

免费开通大数据服务:https://www.aliyun.com/product/odps

老板每天都要出这些业务数据(销售总额、总交易量、总点击次数、总加入购物车次数、总加入收藏夹次数...),我得想个一劳永逸的方法了…


幸好,我有数加神器大数据开发套件Data IDE,搞定业务工作流调度,每日定时自动执行任务,分分钟输出计算结果。


妈妈再也不用担心我焦头奋战了……


本教程是一个大数据开发套件Data IDE零基础教程,通过Data IDE将多源异构的数据集导入云端MaxCompute,进行计算、分析;然后通过Data IDE系统调度定时处理,最终,通过Quick BI实现企业T-1天的业务报表及分析;
MaxCompute



实验开始前您需要

1) 拥有一定的hadoop数据开发经验。

2) 拥有阿里云官网实名认证账号,并且创建好账号Access Key。

3) 开通MaxCompute大数据开发套件Data IDEQuick BI

4) 实验数据集和相关代码下载。

 

本实验您将完成以下任务

1) 新建表,新建数据源,新建工作流任务。

2) 先将业务数据导入或同步到MaxCompute中,以便于数据加工

3) 通过写ODPS SQL对数据指标进行分析,并使用调度自动化数据的导入和加工过程。

4) 通过Quick BI拖拽实现领导驾驶舱。

【3分钟视频教程】阿里云大数据开发套件Data IDE介绍   https://yq.aliyun.com/edu/lesson/play/471

【40分钟视频教程】如何通过Data IDE玩转大数据 https://yq.aliyun.com/edu/lesson/play/472


【实验手册】如何通过大数据开发套件Data IDE玩转大数据.pdf


相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
存储 分布式计算 运维
【2023云栖】刘一鸣:Data+AI时代大数据平台建设的思考与发布
本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:刘一鸣 | 阿里云自研大数据产品负责人 演讲主题:Data+AI时代大数据平台应该如何建设
101418 7
|
运维 分布式计算 DataWorks
阿里云大数据ACP(一)大数据开发平台 DataWorks 1
阿里云大数据ACP(一)大数据开发平台 DataWorks 1
1414 0
阿里云大数据ACP(一)大数据开发平台 DataWorks 1
|
存储 运维 资源调度
阿里云大数据ACP(一)大数据开发平台 DataWorks 2
阿里云大数据ACP(一)大数据开发平台 DataWorks 2
360 0
阿里云大数据ACP(一)大数据开发平台 DataWorks 2
|
4月前
|
消息中间件 大数据 Kafka
❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
68 0
|
1月前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
20 1
大数据Hadoop生态圈体系视频课程
|
10月前
|
存储 SQL 机器学习/深度学习
MaxCompute(原名ODPS,全称Open Data Processing Service)
MaxCompute(原名ODPS,全称Open Data Processing Service)是阿里云开发的一种云原生数据处理和分析服务。它提供了强大的数据计算和处理能力,支持海量数据的存储、计算、分析和挖掘,并且具有高可靠、高性能、高可扩展、高安全等优势,适用于各种数据处理和分析场景。
587 0
|
11月前
|
IDE 大数据 Java
大数据基本开发工具的IDE工具的IDEA
当今,大数据已成为日益重要的领域。在大数据开发中,IDE是必不可少的工具之一。IntelliJ IDEA(以下简称IDEA)是一款由JetBrains公司开发的功能强大的Java IDE工具,广泛应用于大数据开发、Web应用程序和企业级应用程序的开发。
191 0
|
11月前
|
IDE 大数据 Java
大数据基本开发工具的IDE工具的Eclipse
在大数据开发过程中,IDE工具是必不可少的。Eclipse是一种广泛使用的Java IDE工具,它支持多种编程语言和各种插件,非常适合大数据开发。本文将介绍Eclipse的特点、安装和使用方法。
97 0
|
存储 运维 Oracle
【大数据开发运维解决方案】Oracle Data Redaction数据加密测试
最近有个做Java开发的网友问我,怎么在Oracle进行数据加密呢?我给他推荐了Data Redaction。Oracle Database 12c中加入了Data Redaction这个新的安全特性。当然在11g的Database Advanced Security Administrator’s Guide官方文档中就介绍了。
【大数据开发运维解决方案】Oracle Data Redaction数据加密测试
|
分布式计算 大数据 MaxCompute

相关产品

  • 云原生大数据计算服务 MaxCompute