大数据开发(必备)

简介: package:大数据开发(面试以及工作)技能public class(java->大数据):java转型大数据开发。调研技术。学习机制原理。熟悉源代码。

package:

大数据开发(面试以及工作)技能

public class(java->大数据):

java转型大数据开发。调研技术。学习机制原理。熟悉源代码。

class java:

精通java(java基础知识扎实 + java通用类库以及框架)

深入理解Java虚拟机

精通多线程

spring+hibernate框架

osgi框架

数据结构与算法(#算法导论#)

工具类(git、maven、sbt等等)

........

class sql:

mysql

hbase

redis

........

class hadoop

hdfs

mapreduce

hbase

flume

kafka

sqoop

oozie可选

solr(solrcloud)

zookeeper

yarn

........

以上:hadoop集群搭建、终端shell开发,Java——api开发,组件原理机制,熟读源代码。

class sql-on-hadoop

hive

phoenix

impala

class spark

scala

spark-mllib

spark-streaming

spark-sql

........

method all()

项目开发+技术调研+技术总结+底层机制+源代码+二次开发

学习指南:

============================================================

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
数据采集 SQL 运维
1.一站式大数据开发治理平台 DataWorks 入门(二)|学习笔记
快速学习1.一站式大数据开发治理平台 DataWorks 入门
468 0
1.一站式大数据开发治理平台 DataWorks 入门(二)|学习笔记
|
数据采集 SQL 存储
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
数据质量问题虽然从数据工程师的角度来看是个简单问题,但是从业务的角度来看是个很严重的问题。所以数据质量是数据开发和治理全生命周期中,非常重要的一个环节。在DataWorks产品版图里,数据质量也是非常重要的模块之一。
4011 0
DataWorks数据质量介绍及实践 | 《一站式大数据开发治理DataWorks使用宝典》
|
11月前
|
DataWorks 大数据
《阿里云产品手册2022-2023 版》——大数据开发治理平台DataWorks
《阿里云产品手册2022-2023 版》——大数据开发治理平台DataWorks
148 0
|
DataWorks 大数据
《一站式大数据开发治理DataWorks使用宝典》电子版地址
《一站式大数据开发治理DataWorks使用宝典》由9位阿里巴巴DataWorks产品专家领学精心打造,全面介绍了DataWorks十大功能模块,以动手实操的方式清晰使用方法及开发流程,帮助用户快速上手DataWorks核心功能。如果你有自定义数据治理方面的需求,学习DataWorks绝对是你的不二选择。此书也定能成为你学习之路的宝典,快来一起过关斩将吧!
263 0
《一站式大数据开发治理DataWorks使用宝典》电子版地址
|
DataWorks 大数据
《一站式大数据开发治理DataWorks使用宝典》电子版下载地址
《一站式大数据开发治理DataWorks使用宝典》由9位阿里巴巴DataWorks产品专家领学精心打造,全面介绍了DataWorks十大功能模块,以动手实操的方式清晰使用方法及开发流程,帮助用户快速上手DataWorks核心功能。如果你有自定义数据治理方面的需求,学习DataWorks绝对是你的不二选择。此书也定能成为你学习之路的宝典,快来一起过关斩将吧!
181 0
《一站式大数据开发治理DataWorks使用宝典》电子版下载地址
|
存储 机器学习/深度学习 人工智能
一站式大数据开发治理平台 DatatWorks 入门 | 学习笔记
快速学习一站式大数据开发治理平台 DatatWorks 入门,介绍了一站式大数据开发治理平台 DatatWorks 入门系统机制, 以及在实际应用过程中如何使用。
376 0
一站式大数据开发治理平台 DatatWorks 入门 | 学习笔记
|
数据采集 SQL 存储
DataWorks 数据分析介绍及实践 | 学习笔记
快速学习 DataWorks 数据分析介绍及实践,介绍了 DataWorks 数据分析介绍及实践系统机制, 以及在实际应用过程中如何使用。
391 0
DataWorks 数据分析介绍及实践 | 学习笔记
|
存储 数据采集 人工智能
1.一站式大数据开发治理平台 DataWorks 入门(一)|学习笔记
快速学习1.一站式大数据开发治理平台 DataWorks 入门
448 0
1.一站式大数据开发治理平台 DataWorks 入门(一)|学习笔记
|
存储 弹性计算 分布式计算
1.一站式大数据开发治理平台 DataWorks 入门(三)|学习笔记
快速学习1.一站式大数据开发治理平台 DataWorks 入门
447 0
1.一站式大数据开发治理平台 DataWorks 入门(三)|学习笔记
|
机器学习/深度学习 存储 分布式计算
基于MaxCompute、DataWorks和PAI构建企业数据中台经验分享
关于数据中台的构建我在之前的文章中有过多次分享,本篇文章主要聚焦基于阿里云大数据平台构建企业数据中台的经验反馈。
638 0