1. 云栖社区>
  2. 全部标签>
  3. #大数据平台#
大数据平台

#大数据平台#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

从0到1,云服务助力全民直播快速构建大数据平台

随着业务的快速发展,全民直播如何应对来自技术与运营方面的挑战?6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,全民直播大数据架构师朱益发表主题演讲,详细介绍了从0到1,云服务助力全民直播快速构建大数据平台的过程。

大数据 云栖大会 系统监控 用户体验 数据安全 云服务 大数据平台 上海峰会 支持与服务 迁云与护航 稳定性 全民直播 流畅度 高实时性 强互动性

淘宝大数据之路

2003年至今淘宝网从零开始飞速发展,走过了13个年头,支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台...

大数据 架构 阿里云 hadoop Oracle 数据仓库 集群 odps 同步 淘宝 脚本 数据同步 RAC 存储过程 大数据平台

标签分类理论

最近在做DMP,负责设计一套标签管理系统。在对现有标签进行整理的过程中,整理出了这套东西。 0. 标签的定义:标签分类学(Taxonomy) 对于标签(tag),很难列出一个公认的定义,指明这个概念的种差与属概念。所以为了把握这个概念,就需要采取定义另一种办法:分类与枚举。 我们要解决的第一个

Json 阿里技术协会 存储 数据类型 数组 MaxCompute 大数据平台

川普军完美逆袭,阿里大数据为你解读特朗普成功的真相

美国大选的结果已经出来了,特朗普击败希拉里成功当选。而在结果出来以前,各方并不看好特朗普,认为他的胜算很小。从博彩网站的赔率就可以看出来,两者之间的赔率很悬殊,希拉里的赔率只有一倍多,而特朗普的赔率最高达九倍,这是认为特朗普几乎不可能赢。 结果往往出乎意料,特朗普赢了,庄家们输了。

大数据 阿里云 阿里巴巴 数加 钉钉 MaxCompute 大数据平台 大数据技术 特朗普 川普 希拉里

双11数据大屏直播 / 双11作战大屏

双11大屏直播地址:https://h5.m.taobao.com/qn/pc/niuba-interview.html?spm=a1zb6.8232479.0.0.qfgVCn#!/interview/10035359

HTTPS 数据大屏 html MaxCompute 大数据平台 阿里巴巴数据 阿里数据直播 双11大数据

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第三篇,今天主要介绍针对在线服务的资源强稳定 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiMas

飞天 阿里云 阿里技术协会 cap request revoke MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第四篇,今天主要介绍NoedLabel的调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiM

飞天 操作系统 MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第二篇,今天主要介绍调度模型和FIFO\FAIR调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前F

算法 飞天 阿里云 阿里技术协会 集群 排序 MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理

转载自xingbao     各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第一篇,今天主要介绍多租户(QuotaGroup)管理的实现 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所

算法 飞天 阿里云 阿里技术协会 集群 request MaxCompute 大数据平台

【大数据技巧】数据导入到MaxCompute的技巧汇总

用Fluent实现MySQL到ODPS数据集成 ---可以通过Fluentd将其它系统数据利用DHS导入到ODPS中 海量数据计算应该如何选择数据库 ---MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问

大数据 mysql RDS 数据库 odps 同步 分布式计算 数据同步 MaxCompute 海量数据 大数据平台

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

 想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办?   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅~Let’s Go!

odps 数据迁移 MaxCompute 大数据平台 大数据开发套件 大数据计算

MaxCompute(原ODPS)任务优化之列裁剪

  最近因为几个ODPS任务节点扣分严重,计算健康度一度堕落至85分的红线以下,上了一次黑榜,立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化,略作记录。

配置 odps string input MaxCompute 大数据平台 大数据技术 大数据计算

用炸弹开路——加速到来的证券投资行业人工智能时代

去年开始涉足人工智能技术应用于证券投资领域的研究,将近两年的研究实践,发现公开资料上很多关于人工智能(AI)对证券投资业发展影响的文章都存在几个明显的思维误区:①一个是对人工智能的认识有误。人工智能是个广域笼统的概念,但基石是机器学习,以机器学习算法构建逻辑和规则为基石的人工智能与自动化程序软件及通过数据回测构建起来的以固定逻辑运行的量化投资模型是完全不同的事物,区别就好比活鸡和模型鸡,需要明白自动化软件不是人工智能,国内大多数所谓智能投顾其实还不是真正意义上的人工智能投顾;②另一个是曲解了人工智能在证券投资行业的应用。

深度学习 大数据 算法 机器学习 云计算 人工智能 odps 大数据分析 MaxCompute 大数据平台

三个理由告诉你,企业为什么需要大数据

随着科技进步、社会发展,尤其是以计算机为代表的信息技术飞速发展,各种信息呈爆炸式增长,数据渗透到各行各业,很多企业也越来越重视数据的收集与分析,以三大运营商、阿里云、景安网络为代表的高新技术企业纷纷为客户建立起专业的大数据服务平台,对客户的需要数据进行收集与分析,提供基于大数据的运营指导。

大数据 阿里云 HTTPS 电商 运营 大数据分析 海量数据 大数据平台 景安网络 景安数据中心

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据技术服务MaxCompute对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移下面我们针对每种场景分别介绍几种常用方案。

大数据 日志 数据迁移 数据同步 异构数据 MaxCompute 大数据平台 大数据开发套件

MaxCompute访问TableStore(OTS) 数据(20170601更新)

MaxCompute作为阿里云大数据平台的核心计算组件,承担了集团内外大部分的分布式计算需求。

大数据 阿里云 HTTPS 数据处理 aliyun ots 表格存储 table 存储 MaxCompute 大数据平台 Store 大数据技术 大数据计算

PTC联手阿里云共同提高中国工业4.0认可度

“很多企业对一些新事物的接受速度不够快,这不能怪我们的企业家,这其实是因为我们整个市场要做这样的转型,这本身就是一个比较复杂和需要下定决心的事情。”PTC(美国参数软件公司)全球副总裁兼中国区总裁寿宇澄这样评价中国工业企业对转型的犹疑态度。

阿里云 互联网 云服务 物联网 大数据分析 大数据平台 大数据计算

流计算StreamCompute

背景 每年的双十一除了“折扣”,全世界(特别是阿里人)都关注的另一个焦点是面向媒体直播的“实时大屏”(如下图所示)。包括总成交量在内的各项指标,通过数字维度展现了双十一狂欢节这一是买家,卖家及物流小二一起创造的奇迹! 双十一媒体直播大屏 这一大屏背后需要实时处理海量的庞大电商系统各个模块产生的

云栖社区 性能 数据流 集群 负载均衡 编程 自动化运维 流计算 MaxCompute 大数据平台

阿里云数加助力东润环能开启新能源大数据时代

北京东润环能科技股份有限公司(以下简称“东润环能”)是一家从事新能源电力领域的数据信息服务公司,该司开创之初,提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品,并逐步打造三大新能源互联网智慧服务生态圈平台,包括新能源投资开发生态圈第一平台、绿色电力交易与智.

大数据 阿里云 hadoop 数据处理 数据流 odps 数据迁移 数加 钉钉 数据挖掘 异构数据 MaxCompute 海量数据 大数据平台 数据应用

【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

概述:大数据时代,谁掌握了足够的数据,谁就有可能掌握未来,而其中的数据采集就是将来的流动资产积累。 任何规模的企业,每时每刻都在产生大量的数据,但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息,而在于对这些数据进行智能处理,从中分析和挖掘出有价值的

flume MaxCompute 日志采集 大数据平台

2
GO