1. 云栖社区>
  2. 全部标签>
  3. #大数据技术#
大数据技术

#大数据技术#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

RODPS介绍

这篇文章主要是给外部用户介绍如何使用RODPS的 (一)概念介绍 RODPS能够提供一个桥接的方式,使得可以在R语言环境中无缝的使用MaxCompute(原ODPS)里面的数据、计算资源,类似于开源社区的RHive和Rhadoop的功能。 (二)安装R基础环境 2.1 Linux serve

阿里技术协会 MaxCompute 大数据技术

如何进入现在较火热的大数据领域,学习路线是什么?

大数据不是某个专业或一门编程语言,实际上它是一系列技术的组合运用。有人通过下方的等式给出了大数据的定义。大数据 = 编程技巧 + 数据结构和算法 + 分析能力 + 数据库技能 + 数学 + 机器学习 + NLP + OS + 密码学 + 并行编程虽然这个等式看起来很长,需要学习的东西很多,但付出和汇报是成正比的,至少和薪资是成正比的。

编程语言 系统研发与运维 linux python 大数据 Java核心技术 算法 java mysql hdfs hadoop 大数据技术 大数据开发 大数据学习 大数据入门

做大数据工程师需要掌握哪些技能呢?

大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。

编程语言 系统研发与运维 linux python 大数据 Java核心技术 java mysql hdfs hadoop 数据库 配置 大数据技术 大数据开发 大数据入门

java转大数据的学习路线

一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划 大数据介绍 大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。

编程语言 linux python 分布式 大数据 Java核心技术 架构 java hbase hdfs hadoop 大数据技术 大数据开发 大数据学习 大数据入门

MaxCompute(原ODPS) 脑图 - 常用知识总结

MaxCompute常用知识整理

odps MaxCompute 大数据技术

Fuxi ServiceModeJob 多租户(Quota Group) 功能介绍

概述 ServiceModeJob(又名:OnlineJob)是fuxi提供的一套准实时计算框架,通过毫秒级的调度开销和网络Shuffle模式为小Job提供更高的性能。目前ODPS对内生产集群约1/3的Job通过ServiceModeJob进行处理,对其中小Job比较多的集群,这个占比会提高到70

阿里技术协会 配置 集群 排序 Group MaxCompute 大数据技术

川普军完美逆袭,阿里大数据为你解读特朗普成功的真相

美国大选的结果已经出来了,特朗普击败希拉里成功当选。而在结果出来以前,各方并不看好特朗普,认为他的胜算很小。从博彩网站的赔率就可以看出来,两者之间的赔率很悬殊,希拉里的赔率只有一倍多,而特朗普的赔率最高达九倍,这是认为特朗普几乎不可能赢。 结果往往出乎意料,特朗普赢了,庄家们输了。

大数据 阿里云 阿里巴巴 数加 钉钉 MaxCompute 大数据平台 大数据技术 特朗普 川普 希拉里

MaxCompute(原ODPS)任务优化之列裁剪

  最近因为几个ODPS任务节点扣分严重,计算健康度一度堕落至85分的红线以下,上了一次黑榜,立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化,略作记录。

配置 odps string input MaxCompute 大数据平台 大数据技术 大数据计算

MaxCompute(原ODPS)使用总结-初级篇

本文面向的读者是要使用ODPS sql进行一些数据查询和挖掘,或者要使用ODPS udf自定义函数的用户。

大数据 监控 函数 HTTPS SQL odps aliyun UDF Create 存储 MaxCompute 大数据技术

Vectorized Execution Engine in MaxCompute 2.0简介

前言     在《数据库系统中的Code Generation技术介绍》一文中,我们阐述了代码的CPU执行效率对于大规模分布式OLAP系统的重要性。现在简单总结如下: OLAP系统中查询往往比较复杂,比如多表Join, 各种聚合函数以及窗口函数,其中涉及大量的Hash计算(比如采用Hash

阿里技术协会 MaxCompute 大数据技术

MaxCompute Optimizer之表达式约化

MaxCompute Optimizer之表达式约化 文章转载自jiehongOptimizer是MaxCompute处理SQL任务的优化器,它的主旨于在根据关系代数的等价描述将中间的执行计划进一步地等价变换,以生成代价更优的执行计划。Optimizer内部有很多优化器,此

MaxCompute 大数据技术

MaxCompute 中的Code Generation技术简介

前言       在《数据库系统中的Code Generation技术介绍》中,我们简单介绍了一下Code Generation技术及其在大规模OLAP系统,特别是大规模分布式OLAP系统中的重要性。MaxCompute采用了Code Generation技术来提高计算效率。在MaxCompute

MaxCompute 大数据技术

当 Elasticsearch 遇上 MaxCompute —— 「Elasticsearch on MaxCompute 」简介

转自haixiaElasticsearch on MaxCompute Elasticsearch 是目前最流行的开源分布式搜索系统之一,它有着优秀的近实时搜索性能和丰富的周边配套工具。以 Elasticsearch 为核心的 Elastic Stack (Elasticsearch + Log

MaxCompute 大数据技术

MaxCompute访问TableStore(OTS) 数据(20170601更新)

MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。

大数据 阿里云 HTTPS 数据处理 aliyun ots 表格存储 table 存储 MaxCompute 大数据平台 Store 大数据技术 大数据计算

2
GO