1. 云栖社区>
  2. 全部标签>
  3. #大数据平台#
大数据平台

#大数据平台#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

【袋鼠云技术团队沙龙第12期】大数据平台实践

双十一成交额2135亿,新的技术力量刚刚开始!今年双11的大数据平台实时计算处理能力已经相当于一秒钟内读完120万本2018年新版的《新华字典》,技术与业务的共振正把我们的生活变得更加地便携与高效。越来越多的企业也逐渐采用大数据的技术架构来进行企业IT架构的升级。

大数据 架构 hadoop 数据仓库 袋鼠云 e-mapreduce 离线计算 big data 海量数据 大数据平台 数据智能 数栈

基于hadoop的免费大数据平台有哪些?

现在市面上围绕大数据的应用开发如火如荼,比如,企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都是偏向于底层的,开发难度之大真不是三两个人就可以搞得定的。

大数据 hadoop 平台架构 大数据平台

开源大数据周刊-第103期

Google宣布在2016年发布的数据可视化工具Data Studio,以及2017年发布的的数据预先处理服务Cloud Dataprep,现在都正式可用。

大数据 redis 数据可视化 hadoop spark 开源大数据 大数据平台

从0到1,云服务助力全民直播快速构建大数据平台

随着业务的快速发展,全民直播如何应对来自技术与运营方面的挑战?6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,全民直播大数据架构师朱益发表主题演讲,详细介绍了从0到1,云服务助力全民直播快速构建大数据平台的过程。

大数据 云栖大会 系统监控 用户体验 数据安全 云服务 大数据平台 上海峰会 支持与服务 迁云与护航 稳定性 全民直播 流畅度 高实时性 强互动性

淘宝大数据之路

2003年至今淘宝网从零开始飞速发展,走过了13个年头,支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台...

大数据 架构 阿里云 hadoop Oracle 数据仓库 集群 odps 同步 淘宝 脚本 数据同步 RAC 存储过程 大数据平台

标签分类理论

最近在做DMP,负责设计一套标签管理系统。在对现有标签进行整理的过程中,整理出了这套东西。 0. 标签的定义:标签分类学(Taxonomy) 对于标签(tag),很难列出一个公认的定义,指明这个概念的种差与属概念。所以为了把握这个概念,就需要采取定义另一种办法:分类与枚举。 我们要解决的第一个

Json 阿里技术协会 存储 数据类型 数组 MaxCompute 大数据平台

川普军完美逆袭,阿里大数据为你解读特朗普成功的真相

美国大选的结果已经出来了,特朗普击败希拉里成功当选。而在结果出来以前,各方并不看好特朗普,认为他的胜算很小。从博彩网站的赔率就可以看出来,两者之间的赔率很悬殊,希拉里的赔率只有一倍多,而特朗普的赔率最高达九倍,这是认为特朗普几乎不可能赢。 结果往往出乎意料,特朗普赢了,庄家们输了。

大数据 阿里云 阿里巴巴 数加 钉钉 MaxCompute 大数据平台 大数据技术 特朗普 川普 希拉里

双11数据大屏直播 / 双11作战大屏

双11大屏直播地址:https://h5.m.taobao.com/qn/pc/niuba-interview.html?spm=a1zb6.8232479.0.0.qfgVCn#!/interview/10035359

HTTPS 数据大屏 html MaxCompute 大数据平台 阿里巴巴数据 阿里数据直播 双11大数据

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第三篇,今天主要介绍针对在线服务的资源强稳定 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiMas

飞天 阿里云 阿里技术协会 cap request revoke MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第四篇,今天主要介绍NoedLabel的调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiM

飞天 操作系统 MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第二篇,今天主要介绍调度模型和FIFO\FAIR调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前F

算法 飞天 阿里云 阿里技术协会 集群 排序 MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理

转载自xingbao     各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第一篇,今天主要介绍多租户(QuotaGroup)管理的实现 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所

算法 飞天 阿里云 阿里技术协会 集群 request MaxCompute 大数据平台

【大数据技巧】数据导入到MaxCompute的技巧汇总

用Fluent实现MySQL到ODPS数据集成 ---可以通过Fluentd将其它系统数据利用DHS导入到ODPS中 海量数据计算应该如何选择数据库 ---MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问

大数据 mysql RDS 数据库 odps 同步 分布式计算 数据同步 MaxCompute 海量数据 大数据平台

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

 想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办?   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅~Let’s Go!

odps 数据迁移 MaxCompute 大数据平台 大数据开发套件 大数据计算

MaxCompute(原ODPS)任务优化之列裁剪

  最近因为几个ODPS任务节点扣分严重,计算健康度一度堕落至85分的红线以下,上了一次黑榜,立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化,略作记录。

配置 odps string input MaxCompute 大数据平台 大数据技术 大数据计算

用炸弹开路——加速到来的证券投资行业人工智能时代

去年开始涉足人工智能技术应用于证券投资领域的研究,将近两年的研究实践,发现公开资料上很多关于人工智能(AI)对证券投资业发展影响的文章都存在几个明显的思维误区:①一个是对人工智能的认识有误。人工智能是个广域笼统的概念,但基石是机器学习,以机器学习算法构建逻辑和规则为基石的人工智能与自动化程序软件及通过数据回测构建起来的以固定逻辑运行的量化投资模型是完全不同的事物,区别就好比活鸡和模型鸡,需要明白自动化软件不是人工智能,国内大多数所谓智能投顾其实还不是真正意义上的人工智能投顾;②另一个是曲解了人工智能在证券投资行业的应用。

深度学习 大数据 算法 机器学习 云计算 人工智能 odps 大数据分析 MaxCompute 大数据平台

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据技术服务MaxCompute对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移下面我们针对每种场景分别介绍几种常用方案。

大数据 日志 数据迁移 数据同步 异构数据 MaxCompute 大数据平台 大数据开发套件

MaxCompute访问TableStore(OTS) 数据(20170601更新)

MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。

大数据 阿里云 HTTPS 数据处理 aliyun ots 表格存储 table 存储 MaxCompute 大数据平台 Store 大数据技术 大数据计算

PTC联手阿里云共同提高中国工业4.0认可度

“很多企业对一些新事物的接受速度不够快,这不能怪我们的企业家,这其实是因为我们整个市场要做这样的转型,这本身就是一个比较复杂和需要下定决心的事情。”PTC(美国参数软件公司)全球副总裁兼中国区总裁寿宇澄这样评价中国工业企业对转型的犹疑态度。

阿里云 互联网 云服务 物联网 大数据分析 大数据平台 大数据计算

2
GO