1. 云栖社区>
  2. 全部标签>
  3. #大数据#
大数据

#大数据#

已有161人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

开源大数据周刊-第69期

资讯: 阿里巴巴成立达摩院,三年1000亿旨在创造颠覆性基础技术 10 月 11 日,2017 杭州·云栖大会开幕。会上,阿里巴巴集团首席技术官张建锋宣布阿里巴巴成立全球研究院达摩院,进行基础科学和颠覆式技术创新研究,并将在未来 3 年投入 1000 亿元进行基础科学研发。

云栖社区 分布式 大数据 阿里云 hadoop HTTPS 云栖大会 Apache 阿里巴巴 数据仓库 开源大数据 KV存储 kafka kylin 神经网络

MaxCompute基础与MaxCompute SQL优化

总论:大数据计算服务 ( MaxCompute,原名 ODPS ) 是一种快速、完全托管的 TB/PB 级数据仓库解决方案 。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全 。

分布式 大数据 函数 SQL odps 数据分析 string 分布式计算 UDF MaxCompute 海量数据

量子&AI入门

更多深度文章,请关注:https://yq.aliyun.com/cloud 今年三月,阿里巴巴宣布启动“NASA”计划,说要组建独立的研发部门,为服务20亿人的新经济体储备核心科技,解决10年、20后的困难。

云栖社区 大数据 算法 阿里云 人工智能 量子计算 存储

人机交互新进展:LFR-DFSMN语音识别声学模型介绍

语音识别技术是人机交互技术的重要组成部分,而语音识别中的声学模型是语音识别技术中的核心所在,堪称重中之重。阿里巴巴iDST智能语音交互团队最新的LFR-DFSMN模型相对于之前的LFR-LCBLSTM模型可以达到训练加速3倍、识别加速2倍、识别错误率降低20%和最终模型大小压缩50%的效果,实现了语音识别的迭代速度、识别成本、服务质量的全面提升。

深度学习 大数据 算法 语音识别 神经网络 智能语音

MaxCompute 2.0:阿里巴巴的大数据进化之路

在2017杭州云栖大会阿里云大数据计算服务(MaxCompute)专场上,阿里巴巴通用计算平台负责人/资深专家观滔为大家分享了阿里巴巴的大数据计算服务的进化演进之路以及MaxCompute近期的发展动向。

大数据 阿里云 阿里巴巴 集群 存储 MaxCompute

10月20日云栖精选夜读:揭秘云栖大会VR直播云服务解决方案的技术亮点和核心能力

VR直播能带用户传统直播无法营造的兴奋感和新鲜感,采用阿里云VR直播云服务解决方案,您可以一站式接入全球领先的采集、编码、播控技术,快速拥有令用户尖叫的全新直播能力。

云栖社区 分布式 大数据 安全 算法 阿里云 云栖大会 人工智能 阿里巴巴 电商 容器 解决方案 云服务 规则引擎

金融科技需要哪些技术沉淀

最近召开的首席技术官领袖峰会上,互联网不同行业顶尖技术领导者齐聚一堂,充分交流与碰撞最前沿的技术思想和实践,探讨技术创造商业价值的途径,推动商业变革与创新。会上有很多有价值的观点和实践经验,感谢iTechPlus的授权,我们在此将一些经典的内容重新编辑整理,分享给各位。希望对大家有帮助和借鉴意义。

云栖社区 大数据 HTTPS 模块 互联网 人工智能 Image 移动互联网

清华x-lab AI研习社 | 创新工场王咏刚:人工智能在线下落地难不是问题,而是巨大的机遇

人工智能的线下商业应用能力可以复制线上模式,而一旦这个闭环建立,将提供巨大的机会。

大数据 创业 人工智能

云栖大会现场——除了达摩院这件大事,你知道VISLAB吗?

惠誉科技VISLAB实验室创始人陈琦受阿里云邀请,作为演讲嘉宾参加2017年云栖大会安全分会场TechInsight

云栖社区 互联网产品及应用 大数据 安全 数据可视化 阿里云 云盾 云栖大会 云安全 阿里巴巴 demo 可视化

通过虚拟机的hdfs读取本地mysql上的文件

读取时会出现一些问题 比如 虚拟机上无法ping 本地ip 还有就是需要在类中加 job.addFileToClassPath(new Path("/mysql-connector-java-5.1.

数据存储与数据库 大数据 mysql hdfs path string static JDBC class void

通过reducer联合产生宽表

public class ReducerJoin { public static class ValueFlag implements Writable { private String value; private String flag; public String ...

数据存储与数据库 大数据 string static class void reducer

重读avro文件 对文件进行简单的mr计算

public class ReadAvroInput { public static class ReadAvroInputMap extends Mapper<AvroKey<UserActionLog>, NullWritable, Text, IntWritable> { priv...

大数据 path static class void Avro

通过avro合并大文件 并计算文件词频

通过avro合并大文件 并计算文件词频 public class AvroFilemr { // 读取avro文件 每读取一条记录 其实是一个小文件,对其进行wordcount解析 // 并以单词,1 的形式发送到reducer public static class AvroFi...

大数据 path string static class void

通过Avro 将文件合并

Avro合并本地文件 package com.zhiyou100.mr; import java.io.File; import java.io.IOException; import java.nio.

大数据 java Apache string void schema file arraylist 序列化

重磅,阿里巴巴发布分布式消息领域国际标准

一句话介绍OpenMessaging 分布式系统的消息服务的规范标准(如产品模型、API框架、迁移等),厂商无关、环境无关、产品无关。该项目已经获得Linux基金会的公开官方支持,于10月14日杭州•云栖大会阿里开源技术峰会上发布。

云栖社区 分布式 大数据 消息服务 云栖大会 数据库 阿里巴巴 解决方案 物联网 云平台 分布式系统 云架构 JMS 流计算

Nature重磅:人工智能从0到1, 无师自通完爆阿法狗100-0 | 深度解析

去年,有个小孩读遍人世所有的棋谱,辛勤打谱,苦思冥想,棋艺精进,4-1打败世界冠军李世石,从此人间无敌手。他的名字叫阿法狗。 今年,他的弟弟只靠一副棋盘和黑白两子,没看过一个棋谱,也没有一个人指点,从零开始,自娱自乐,自己参悟,100-0打败哥哥阿法狗。他的名字叫阿法元。

深度学习 大数据 算法 人工智能 AlphaGo 神经网络

RocketMQ成为Apache软件基金会顶级开源项目

9月25日,Apache软件基金会官方宣布,阿里巴巴捐赠给Apache社区的开源项目RocketMQ从Apache社区正式毕业,成为Apache顶级项目(TLP)。自此,Apache RocketMQ成为国内首个非Hadoop生态体系、国内首个互联网中间件的Apache顶级项目。

云栖社区 分布式 大数据 阿里云 HTTPS 云栖大会 Apache 高可用 高并发 阿里巴巴 消息中间件 Image 持续交付 物联网 ActiveMQ

10月19日云栖精选夜读:我的2017云栖之行

对于2017云栖大会,更多的是感动,感动与科技的进步,感动于大家对于技术的不懈追求,感动于我们所处的时代,处处是机遇,科技已经融入到我们生活的方方面面,同时也会在更多业务场景下,提供更多的应用服务。我们只有不断成长,技术不断沉淀,才有希望跟上技术的发展与时代的步伐。

分布式 大数据 阿里云 云栖大会 阿里巴巴 安全平台 阿里中间件 中间件 解决方案 网络产品

1087
GO