1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 是否pipeline

当前主题:是否pipeline

前端搞报表|数据分析提效全链路解决方案

作者:闲鱼技术-云听 背景介绍 闲鱼 2014 年成立,到现在的话已经实现了从 0 ~ 千万级 DAU 的跃迁,随着业务的快速发展,业务决策方法紧跟升级。从最原始的经验驱动到更加科学合理的数据驱动。而要做到数据驱动,需要去做大量的数据分析以及大量的数据报表开

阅读全文

搜索引擎新架构:与SQL不得不说的故事

特邀嘉宾:罗涛--阿里巴巴集团资深技术专家 视频地址:https://yunqi.aliyun.com/2020/session54?liveId=44647 阿里巴巴搜索引擎HA3架构 1.HA3架构分为在线和离线两部分 • 在线是一个传统的2层服务架构,

阅读全文

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓

阅读全文

Serverless Spark的弹性利器 - EMR Shuffle Service

背景与动机 计算存储分离下的刚需 计算存储分离是云原生的重要特征。通常来讲,计算是CPU密集型,存储是IO密集型,他们对于硬件配置的需求是不同的。在传统计算存储混合的架构中,为了兼顾计算和存储,CPU和存储设备都不能太差,因此牺牲了灵活性,提高了成本。在计算

阅读全文

从零入门 Serverless | 教你 7 步快速构建 GitLab 持续集成环境

作者 | 存诚 阿里云弹性计算团队 本文整理自《Serverless 技术公开课》**,“Serverless”公众号后台回复“入门”,即可获取系列文章 PPT。** 导读:本节课程为您介绍如何基于阿里云 Serverless Kubernetes(简称 A

阅读全文

数据湖架构,为什么需要“湖加速”?

![image](https://yqfile.alicdn.com/2ae0e6ce7b6c39bd55ee53fe308bb8a2bbab0dd6.png) 在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于

阅读全文

如何实现一个跨库连表SQL生成器?

![image](https://yqfile.alicdn.com/2251a66ed3bc953fdc2784f4d2d0639905ddfda1.png) 一 概述 ADC(Alibaba DChain Data Converger)项目的主要目的是做

阅读全文

Flink SQL 1.11 新功能与最佳实践

作者:伍翀(云邪),Apache Flink PMC member,阿里巴巴技术专家整理:陈婧敏(清樾) 本文整理自 Apache Flink PMC,阿里巴巴技术专家伍翀(云邪)的分享,旨在帮助用户快速了解新版本 Table & SQL 在 Connect

阅读全文

是否pipeline相关问答

提问题

redis中multi与pipeline的区别

redis处理批量请求有两种命令,一种是`multi`,一种是`pipeline`,它们有什么区别呢?主要的使用场景又分别适合什么? redis能像mongodb那样在服务端执行脚本吗? 比如我要根据一个值是否存在来决定是否去做下一步操作,这种简单的判断,

阅读全文

Pyspark错误:使用交叉验证时“字段rawPrediction不存在”

我一直在尝试使用CrossValidator我的训练数据,但我总是收到错误消息: "An error occurred while calling o80267.evaluate. : java.lang.IllegalArgumentExceptio

阅读全文

PySpark线性回归数据集中具有比数据点更多的特征

我正在使用PySpark开发一个简单的文本挖掘应用程序。目标是将特定文档分类为垃圾邮件或非垃圾邮件。我有大约1000个文件来训练模型(n)。 清理数据(正交误差校正,词干等)后,我使用IDF提取特征向量。默认情况下,此向量化方法的要素维度为2 ^ 18

阅读全文

Jenkins Kubernetes插件:如何从Dockerfile构建图像并在图像中运行步骤

我正在使用Jenkins kubernetes-plugin。是否可以从Dockerfile构建docker镜像,然后在创建的图像中运行步骤?该插件需要在pod模板中指定一个图像,所以我的第一次尝试是使用docker-in-docker,但步骤docker.i

阅读全文

Flink和Beam SDK如何处理窗口 - 哪个更有效?

我将Apache Beam SDK与用于流处理的Flink SDK进行比较,以确定使用Beam作为附加框架的成本/优势。 我有一个非常简单的设置,其中从Kafka源读取数据流并由运行Flink的节点集群并行处理。 根据我对这些SDK如何工作的理解,

阅读全文