数加平台——阿里大数据OS实践

在本文中,阿里云大数据事业部数加平台技术负责人陈廷梁从数加定义、起源、愿景、价值、架构、规划六个方面分享了《数加平台——阿里大数据OS实践》,主要介绍了数加平台的演进过程和阿里大数据OS的架构。往日头条>

推荐话题

打赏奖品

优酷VIP月卡 x 4

新版淘公仔 x 4

技术书籍 x 2

活动时间
24天后结束
打赏奖品

优酷VIP月卡 x 2

定制笔记本 x 3

虾米VIP月卡 x 5

活动时间
2月后结束
更多话题 >

Flink Table/SQL API 规划 —— Dynamic Table

动态表直观上看是一个类似于数据库中的`Materialized View`概念。动态表随着时间改变;类似静态的batch table一样可以用标准SQL进行查询然后一个新的动态表;可以和流无损地互相转换(对偶的)。

分布式 大数据 开发框架与中间件 分布式系统与计算 storm 实时系统 HTTPS SQL API page update Group flink

记一次8小时惊心动魄的服务器+网站升级

2017年3月26日,此时此刻,我对服务器+网站进行了升级,也不知道自己脑袋那根弦短路了,大好的周末居然玩起了升级。 因为long long ago之前用的某宝的镜像环境,某段时间由于某种原因下架了。

nginx php 服务器 RDS 数据盘 数据库 yum 配置 Cache 系统盘

faked 一个用于 mock 后端 API 的轻量工具

![logo](https://github.com/Houfeng/faked/raw/master/docs/faked.png) ## 一、简介 faked 是一个在前端开发中用于 mock 服务端接口的模块,轻量简单,无需要在本地启动 Server 也无需其它更多的资源,仅在浏览器中完成「请求拉截」,配合完整的「路由系统」轻而易举的 mock 后端 API。 GitHub R

编程语言 前端与交互设计 测试技术 函数 HTTPS 阿里技术协会 http require 模块 js API 前端开发 index github

延迟加载算法微服务的模型

基于SpringBoot的算法微服务,通常在启动阶段加载算法模型。但因为业务上,模型大小和数量是动态的,因此这一过程短则1分钟,长则5+分钟。在启动时加载导致的启动时间过长,会影响服务自身的监控告警、健康检测。

算法 java 监控 LOG 阿里技术协会 微服务 springboot class void bootstrap service

游戏风云:阿里云全球同服游戏方案全面解读

在3月8日的“2017游戏行业全球同服和安全攻防技术沙龙”上,阿里云资深业务架构师韩虎分享了阿里云全球同服游戏解决方案,他从当前的技术环境入手,介绍了业务功能整体架构,并重点解析了四种全球同服游戏参考架构,最后还辅以案例说明典型系统的设计要点。

分布式 架构 阿里云 服务器 HTTPS 数据库 同步 数据同步

【不了解这些,何谈APP开发】阿里专家带你深入移动APP安全漏洞与防护

据《阿里聚安全2016年报》显示,89%的热门应用存在仿冒,18个行业Top10应用中,98%的应用都有漏洞,总漏洞量14798个,平均每个应用有82个漏洞。本课程中,阿里安全专家为你解读移动App安全那些事。

【直击Tech insight】企业混合云专场——弹性计算云产品使用误区与最佳实践

第一时间带来Tech insight视频直播专场现场干货及PPT!企业混合云专场,隽勇分享弹性计算云产品使用误区与最佳实践!

架构 阿里云 Insight HTTPS 钉钉 弹性计算

阿里云数加大数据平台首批通过国家大数据标准检测

随着信息化的推进,大数据已成为社会生活和工业生产不可或缺的基础资源。有效管理和利用大数据,提升大数据应用效率迫在眉睫。加强大数据标准化顶层设计,逐步完善标准体系,把数据“管好”“用好”。 2017年3月18日, 2017大数据标准化论坛在北京成功召开。

大数据 安全 数据可视化 阿里云 个性化推荐 测试 数加 分析型数据库 海量数据

TensorFlow游乐场及神经网络简介

TensorFlow是谷歌2015年开源的主流深度学习框架,目前已在谷歌、优步(Uber)、京东、小米等科技公司广泛应用。本文将通过TensorFlow游乐场来简单介绍神经网络的主要功能以及计算流程。本文选自《Tensorflow:实战Google深度学习框架》。

深度学习 算法 http TensorFlow 神经网络 TensorFlow实战

递归函数(一):开篇

提到函数式编程,人们最多想到的可能是它的某些性质, 例如,不可变性,无副作用,惰性求值,类型推导,等等。 然而,这些性质可能并不是它能吸引粉丝的根本原因, 而是它从工业界触手可及的直接应用出发,带我们看到了人类能力的边界, 函数式编程仿佛一座桥梁,让我们普通程序员也能窥探计算机科学的奥秘。

函数式编程 计算机科学 数学 递归函数论 逻辑学

大数据与智能制造平台构建

2016年8月宁波成为全国首个“中国制造2025”试点示范城市,10月份云栖大会上马云首次公布包括新制造在内的五个新变革。智能制造瞄准了当下制造业生产制造层面的各个环节,通过大数据、云计算以及人工智能领域的单点突破、多点融合的机制,真正改变中国制造业生产制造落后的局面。本期嘉宾将从中国企业的智能制造之路、智能制造中的大数据应用等维度和大家分享与探讨“中国制造2025”的机会和策略。

【社区活动】钉钉讲武堂沙龙:3月30日杭州

钉钉讲武堂是钉钉开放平台主办,面向钉钉开发者的线上、线下培训的课堂,致力于提高用户钉钉开发集成能力,交流开发心得。现诚邀中大型企业/集团基于钉钉有自定义门户、系统集成需求的用户过来与钉钉技术大咖、钉钉明星用户面对面交流,欢迎报名参加。活动时间:2017-03-30 14:00~17:00,活动地点:杭州阿里巴巴西溪园区8-2-1-w凤栖山庄

新颖训练方法——用迭代投影算法训练神经网络

本文介绍了一种利用迭代投影算法对神经网络进行训练的方法,首先介绍了交替投影的基础知识,说明投影方法是寻找非凸优化问题解决方案的一种有效方法;之后介绍了差异图的基础知识,将差异图与一些其他算法相结合使得差分映射算法能够收敛于一个好的解决方案;当投影的情况变多时,介绍了分治算法,最后将迭代投影算法应用到神经网络训练中,给出的例子实验结果表明效果不错。

算法 函数 测试 解决方案 神经网络 训练方法 相位恢复 迭代投影

初探阿里云存储网关(多图慎入)

有幸第一时间拿到阿里云存储团队提供的存储网关内部测试版本,我第一时间进行了尝鲜,分享给大家,相信不久大家就能看到这款新产品。

阿里云 OSS ECS 云存储 测试 对象存储 磁盘 存储 存储网关

使用阿里云容器服务Jenkins 2.0实现持续集成之the tag you want篇

为了简洁起见,本文将上述两种能力在一个持续集成场景中进行运用。整个场景是,在代码中增加环境变量配置文件,代码变更触发自动构建,打包代码,构建镜像(用git SHA和构建时间tag image),推送镜像,使用环境变量文件和compose模板来部署应用到阿里云容器服务。

docker 阿里云 阿里云容器服务 HTTPS shell 镜像 持续集成 容器 Image 脚本 Registry 插件 jenkins

RocketMQ 迈入50万TPS消息俱乐部

前言 消息团队一直致力于RocketMQ的性能优化,双十一前进行了低延时(毛刺)优化,保障了双十一万亿消息的流转如丝般顺滑,在2016年双十一种,MetaQ以接近万亿的消息总量支撑着全集团数千个应用,在系统解耦、削峰填谷、数据库同步、位点回滚消费等多种业务场景中,MetaQ都有精彩、稳定的表现。

架构 java 性能 线程 模块 阿里中间件 测试 CPU Aliware 企业级互联网架构Aliware 消息队列MQ 中间件产品

3月24日云栖精选夜读:Docker日志收集最佳实践

今天又是这么晚和读者们相见了,想必作为程序员的我们有的可能才下班,还有的可能还奋斗在一线吧~那么小编精心挑选的这些文章正是给这些经常熬夜的程序猿们品读的,花个5分钟,读读这些文章,让劳累了一天心灵得到放松,明天又能充满活力地写代码!

大数据 架构 docker 阿里云 日志 高可用 高并发 中间件 持续集成 容器 数加 袋鼠云 问答 解决方案 云平台

2011年功力的德哥教你两天撸通PostgreSQL - 入门、开发、原理、管理、调优

背景 很多人抱怨我写的入门文档太少,实际上几年前做过很多入门的培训,PPT也很全,听过我讲的朋友戏称这份PPT足够出一本标准教材了(达到了380页之多)。 PostgreSQL的入门教材还有很多,书籍也很多,如果您真的钟爱我写的文章的话,那就不要错过本文了,当时是2011年,PostgreSQL社区是一个很有爱的大家庭,此为当时培训2000名PG DBA献出的公开培训。

数据存储与数据库 性能优化 PostgreSQL 函数 SQL 数据库 配置 集群 索引 数据库存储 权限管理 培训 存储 数据类型 并发控制

从底层技术来看,GSLB 究竟难在哪儿

本文作者吕宏利来自硅谷的SRE,有着多年的国内外大型互联网公司运维开发经验,专注于分布式系统设计、监控、容量规划,数据中心技术以及生产环境的最佳实践。在本文中他将他将向读者介绍什么是GSLB,以及实现细节和维护方法。

服务器 集群 负载均衡 DNS

点击获取更多精彩内容
阿里技术专家,专注大数据领域,6年分布式引擎研发经验
褚霸、丁奇、德哥、彭立勋、玄惭、叶翔等顶尖数据库专家为您服务,帮您用好阿里云数据库。
更多> 中国文学史
尽在双11:阿里巴巴技术演进与超越

阿里巴巴集团双11技术团队

试读章节