1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. Z>
  5. 最大流

当前主题:最大流

基于交互式分析搭建的典型应用场景

交互式分析经过在阿里巴巴集团近3年的沉淀,已覆盖上百个业务团队,今天小编将会从技术的角度为大家解读交互式分析的架构亮点,以及基于交互式分析架构搭建的典型应用场景介绍。 架构介绍 # 系统架构 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层

阅读全文

Java工程师学习指南(入门篇)

Java工程师学习指南 入门篇 最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写的文章都是站在Java后端的全局上进行思考和总结的,忽略了很多小白

阅读全文

云数据仓库MaxCompute最佳实践之数据上云 | 2019大数据技术公开课第五季

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute 认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成全球首个TPCx-BB认证的公共云产品,是除Hive、Spark,TPCx

阅读全文

【译】使用Spark SQL 运行大规模基因组工作流

编译: 诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。 使用Spark SQL 运行大规模基因组工作流 在过去十年中,随着基因组测

阅读全文

如何优化大规模推荐?下一代算法技术JTM来了

阿里妹导读:搜索,推荐和广告是互联网内容提供商进行价值创造的核心业务,在阿里巴巴的电子商务交易平台上,搜索,推荐和广告业务同样具有举足轻重的意义和价值。现在,阿里推荐技术又双叒优化了,新的推荐技术,新的体验,一起来看。 一. 背景 搜索、推荐和广告看似业务形

阅读全文

应用程序的架构演变,微服务不是终点

近些年来,应用程序的架构一直在演变,这个变化过程是由什么力量所驱动呢?它的变化方向又是由什么所决定的呢?开宗明义,应用程序架构,作为一个因变量,它的自变量是互联网带来的信息量剧增。 为什么这么说?我们先看下信息量的增长态势。 举一个例子,维基百科,它本质上是

阅读全文

如何构建批流一体数据融合平台的一致性语义保证?

作者:陈肃整理:周奇,Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用

阅读全文

阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点

笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过大数据底层框架内核的开发(Hadoop,Pig,Tez,Spark,Livy),也做过上层大数据应用开发(写 MapReduce Job 做 ETL ,用 Hive 做 A

阅读全文

最大流相关问答

查看更多 提问题

pyspark - 在json流数据中找到max和min usign createDataFrame

我有一组由Kafka流式传输的json消息,每个消息都描述一个网站用户。使用pyspark,我需要计算每个国家/地区每个流媒体窗口的用户数,并返回具有最大和最小用户数的国家/地区。 以下是流式json消息的示例: {"id":1,"first_na

阅读全文

2018python技术问答集锦,希望能给喜欢python的同学一些帮助

小编发现问答专区中有很多人在问关于python的问题,小编把这些问题汇总一下,希望能给喜欢python的大家一些启示和帮助 本帖不定期更新,喜欢的可以收藏哦 **python可能替代Java吗?感觉现在很多Java程序员都跑去学python。*

阅读全文

如何使用Spark结构化流媒体为Kafka流实现自定义反序列化?

我正在尝试迁移我当前的流媒体应用程序,这是基于使用RDD(从他们的文档)到他们使用结构化流媒体的新数据集API,我被告知这是使用Spark进行实时流媒体的首选方法。 目前,我的应用程序设置使用了一个名为“SATELLITE”的主题,该主题包含一个包含密钥

阅读全文

Flink和Beam SDK如何处理窗口 - 哪个更有效?

我将Apache Beam SDK与用于流处理的Flink SDK进行比较,以确定使用Beam作为附加框架的成本/优势。 我有一个非常简单的设置,其中从Kafka源读取数据流并由运行Flink的节点集群并行处理。 根据我对这些SDK如何工作的理解,

阅读全文

阿里云实时计算 Flink是如何计量和收费?

实时计算 Flink的基本计量单位为CU(Compute Unit),即计算资源。一个CU对应于实时计算底层系统是一个CPU的计算能力。实时计算底层使用虚拟化技术进行资源隔离,保证一个基本的CU消费且最大消费仅能为一个CPU的计算能力。 一个CU描述了一

阅读全文

MaxCompute百问集锦(持续更新20171011)

![fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg](https://yqfile.alicdn.com/ee78085f2e6a147c3fffcc95038b11a73c609bf1.jpeg) 大数据计算服务

阅读全文

【Java学习全家桶】1460道Java热门问题,阿里百位技术专家答疑解惑

阿里极客公益活动: 或许你挑灯夜战只为一道难题 或许你百思不解只求一个答案 或许你绞尽脑汁只因一种未知 那么他们来了,阿里系技术专家来云栖问答为你解答技术难题了 他们用户自己手中的技术来帮助用户成长 本次活动特邀百位阿里技术

阅读全文

大数据时代——数据存储技术百问

如今计算机已经渗透到企业运作的各个角落,企业依靠所存放的这些业务数据进行决策,因此企业如何存放数据成为企业信息系统的重中之重,这也掀起了如今的存储热潮。根据不同的应用环境通过采取合理、安全、有效的方式将数据保存并能保证有效的访问需要更高要求的存储模式。 ![

阅读全文