1. 云栖社区>
  2. 全部标签>
  3. #大数据平台#
大数据平台

#大数据平台#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

大数据平台测试

一.大数据平台测试简述 大数据平台测试包括2部分:基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持 大数据平台是否能够通过界面的形式方便用户进行非运行维护,主要包括集群的安装、监控、配置、操作等 大数据平台是否能够提供基本的安全方案 a).

hbase hadoop 性能 高可用 集群 排序 测试 分布式计算 分布式文件系统 Hive 性能测试 权限管理 大数据平台

阿里云大数据平台MaxCompute用户指南官方电子版下载

阿里云大数据平台MaxCompute用户指南

大数据 file MaxCompute 大数据平台

企业级性能、安全可靠 阿里云推出首个企业级大数据平台开发者版

3月20日,阿里云宣布推出企业级大数据计算平台MaxCompute开发者版。该版本基于MaxCompute原有的分布式架构,具备高可靠、企业级安全能力、全面融合开源等特点,可轻松做到开箱即用,分钟级拥有大数据开发项目,帮助开发者突破技术壁垒,降低门槛和成本,提高大数据开发效率,实现个人技术能力和业务的快速增长。

数据存储与数据库 系统研发与运维 移动开发与客户端 大数据 安全 分布式系统与计算 性能 数据仓库 Image 弹性计算 MaxCompute 开发者 大数据平台 智能 科学计算

基于hadoop的免费大数据平台有哪些?

现在市面上围绕大数据的应用开发如火如荼,比如,企业级大数据处理平台开发、政务大数据平台的开发、智慧交通大数据平台开发等。这些大数据处理平台的开发从技术角度上来说都是偏向于底层的,开发难度之大真不是三两个人就可以搞得定的。

大数据 hadoop 平台架构 大数据平台

开源大数据周刊-第103期

Google宣布在2016年发布的数据可视化工具Data Studio,以及2017年发布的的数据预先处理服务Cloud Dataprep,现在都正式可用。

大数据 redis 数据可视化 hadoop spark 开源大数据 大数据平台

从0到1,云服务助力全民直播快速构建大数据平台

随着业务的快速发展,全民直播如何应对来自技术与运营方面的挑战?6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,全民直播大数据架构师朱益发表主题演讲,详细介绍了从0到1,云服务助力全民直播快速构建大数据平台的过程。

大数据 云栖大会 系统监控 用户体验 数据安全 云服务 大数据平台 上海峰会 支持与服务 迁云与护航 稳定性 全民直播 流畅度 高实时性 强互动性

淘宝大数据之路

2003年至今淘宝网从零开始飞速发展,走过了13个年头,支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台...

大数据 架构 阿里云 hadoop Oracle 数据仓库 集群 odps 同步 淘宝 脚本 数据同步 RAC 存储过程 大数据平台

标签分类理论

最近在做DMP,负责设计一套标签管理系统。在对现有标签进行整理的过程中,整理出了这套东西。 0. 标签的定义:标签分类学(Taxonomy) 对于标签(tag),很难列出一个公认的定义,指明这个概念的种差与属概念。所以为了把握这个概念,就需要采取定义另一种办法:分类与枚举。 我们要解决的第一个

Json 阿里技术协会 存储 数据类型 数组 MaxCompute 大数据平台

川普军完美逆袭,阿里大数据为你解读特朗普成功的真相

美国大选的结果已经出来了,特朗普击败希拉里成功当选。而在结果出来以前,各方并不看好特朗普,认为他的胜算很小。从博彩网站的赔率就可以看出来,两者之间的赔率很悬殊,希拉里的赔率只有一倍多,而特朗普的赔率最高达九倍,这是认为特朗普几乎不可能赢。 结果往往出乎意料,特朗普赢了,庄家们输了。

大数据 阿里云 阿里巴巴 数加 钉钉 MaxCompute 大数据平台 大数据技术 特朗普 川普 希拉里

双11数据大屏直播 / 双11作战大屏

双11大屏直播地址:https://h5.m.taobao.com/qn/pc/niuba-interview.html?spm=a1zb6.8232479.0.0.qfgVCn#!/interview/10035359

HTTPS 数据大屏 html MaxCompute 大数据平台 阿里巴巴数据 阿里数据直播 双11大数据

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第三篇,今天主要介绍针对在线服务的资源强稳定 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiMas

飞天 阿里云 阿里技术协会 cap request revoke MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第四篇,今天主要介绍NoedLabel的调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前FuxiM

飞天 操作系统 MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型

转载自xingbao各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第二篇,今天主要介绍调度模型和FIFO\FAIR调度策略 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所示: 作为调度器,目前F

算法 飞天 阿里云 阿里技术协会 集群 排序 MaxCompute 大数据平台

【大数据技术干货】阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理

转载自xingbao     各位好,这是介绍阿里云伏羲(fuxi)调度器系列文章的第一篇,今天主要介绍多租户(QuotaGroup)管理的实现 一、FuxiMaster简介 FuxiMaster和Yarn非常相似,定位于分布式系统中资源管理与分配的角色:一个典型的资源分配流程图如下所

算法 飞天 阿里云 阿里技术协会 集群 request MaxCompute 大数据平台

【大数据技巧】数据导入到MaxCompute的技巧汇总

用Fluent实现MySQL到ODPS数据集成 ---可以通过Fluentd将其它系统数据利用DHS导入到ODPS中 海量数据计算应该如何选择数据库 ---MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问

大数据 mysql RDS 数据库 odps 同步 分布式计算 数据同步 MaxCompute 海量数据 大数据平台

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

 想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办?   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅~Let’s Go!

odps 数据迁移 MaxCompute 大数据平台 大数据开发套件 大数据计算

MaxCompute(原ODPS)任务优化之列裁剪

  最近因为几个ODPS任务节点扣分严重,计算健康度一度堕落至85分的红线以下,上了一次黑榜,立马开始了艰苦的优化之旅。刚刚前几天搞定了两个OpenMR的列裁剪优化,略作记录。

配置 odps string input MaxCompute 大数据平台 大数据技术 大数据计算

用炸弹开路——加速到来的证券投资行业人工智能时代

去年开始涉足人工智能技术应用于证券投资领域的研究,将近两年的研究实践,发现公开资料上很多关于人工智能(AI)对证券投资业发展影响的文章都存在几个明显的思维误区:①一个是对人工智能的认识有误。人工智能是个广域笼统的概念,但基石是机器学习,以机器学习算法构建逻辑和规则为基石的人工智能与自动化程序软件及通过数据回测构建起来的以固定逻辑运行的量化投资模型是完全不同的事物,区别就好比活鸡和模型鸡,需要明白自动化软件不是人工智能,国内大多数所谓智能投顾其实还不是真正意义上的人工智能投顾;②另一个是曲解了人工智能在证券投资行业的应用。

深度学习 大数据 算法 机器学习 云计算 人工智能 odps 大数据分析 MaxCompute 大数据平台

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据技术服务MaxCompute对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移下面我们针对每种场景分别介绍几种常用方案。

大数据 日志 数据迁移 数据同步 异构数据 MaxCompute 大数据平台 大数据开发套件

2
GO