1. 云栖社区>
  2. 全部标签>
  3. #SQL#
SQL

#SQL#

已有11人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

MaxCompute Spark与Spark SQL对比分析及使用注意事项

本文详细对比了Spark on MaxCompute与开源Spark模式在使用中的差异。本次分享主要从功能特性,代码开发,以及Spark on MaxCompute在DataWorks中部署的操作流程等方面进行详细讲解。

SQL 数据库 配置 集群 测试 spark 开发环境 MaxCompute

Demo:基于 Flink SQL 构建流式应用

本文所有的实战演练都将在 Flink SQL CLI 上执行,全程只涉及 SQL 纯文本,无需一行 Java/Scala 代码,无需安装 IDE。

大数据 docker SQL Apache 数据处理 容器 索引 Elasticsearch demo Create type 流计算 flink 实时计算

MaxCompute SQL与Hive对比分析及使用注意事项

一个使用过Hadoop的Hive框架的大数据开发工程师,往往基本掌握了阿里云的大数据计算服务MaxCompute的90%。本次分享主要通过详细对比MaxCompute和Hive各个方面的异同及开发使用的注意事项,方便用户来开发使用MaxCompute,实现从Hive秒速迁移到MaxCompute。

大数据 飞天 SQL odps Image Hive 分区表 Mapreduce 存储 数据类型 MaxCompute

使用 Jupyter Notebook 运行 Delta Lake 入门教程

本文通过 jupyter notebook 工具演示了 Delta Lake 的官方教程

python SQL spark 开发环境 schema update

阿里云物联网平台IoT Studio调用数据分析API示例

前面在博客阿里云物联网平台数据分析API调用介绍了如何使用SDK调用数据分析开发的API,本文主要介绍如何在IoT Sudio Web可视化和服务开发中如果调用数据分析API。

云栖社区 数据可视化 SQL 配置 js 测试 数据分析 node aliyun API 脚本 Core 物联网 IOT

实战 | 一个企业官网上线前的渗透测试

给了我一个内网地址,http://192.168.81.128/htdocs/打开瞧瞧。。。 额,BEECMS,像这种cms搭建的,咱们可以优先考虑去百度,谷歌等搜索相关的cms漏洞。 最重要的还是信息收集,你信息收集做好了,突破点,脆弱点就能更快速准确的找出来了;常规的信息收集手段、端口扫描、网站的架构(操作系统+数据库+Web容器+哪个语言开发的)、敏感目录以及敏感文件扫描、子域名收集、JS文件也可以看看,如果是伪静态的页面可以使用谷歌语法找带参数传递的地方寻找SQL注入(需要工具的可以公众号发消息)。

帮助 架构 木马 mysql SQL 数据库 伪静态 子域名 容器 测试

一次SQL查询优化原理分析(900W+数据,从17s到300ms)

有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到了limit,优化之前的查询耗时16 s 938 ms (execution: 16 s 831 ms, fetching: 107 ms),按照下文的方式调整SQL后,耗时347 ms

mysql SQL 索引 数据节点 test 查询优化 source Group

102万行代码,1270 个问题,Flink 新版发布了什么?(附最佳实践电子书)

2 月 12 日,Apache Flink 1.10.0 正式发布,在 Flink 的第一个双位数版本中正式完成了 Blink 向 Flink 的合并。在此基础之上,Flink 1.10 版本在生产可用性、功能、性能上都有大幅提升。本文将详细为大家介绍该版本的重大变更与新增特性。

python 大数据 函数 性能 SQL Apache 数据处理 配置 容器 内存管理 Hive 流计算 flink 实时计算 1.10

浅析Hive/Spark SQL读文件时的输入任务划分

本文最后留个思考题给读者们:如何设置参数彻底关闭Spark SQL data source表的文件合并? 积极回答问题即可获得社区礼物。

大数据 hadoop SQL spark scala 开源大数据 Hive file

102万行代码,1270 个问题,Flink 新版发布了什么?

阿里妹导读: Apache Flink 是公认的新一代开源大数据计算引擎,可以支持流处理、批处理和机器学习等多种计算形态,也是Apache 软件基金会和 GitHub 社区最为活跃的项目之一。 2019 年 1 月,阿里巴巴实时计算团队宣布将经过双十一历练和集团内部业务打磨的 Blink 引擎进行开源并向 Apache Flink 贡献代码,此后的一年中,阿里巴巴实时计算团队与 Apache Flink 社区密切合作,持续推进 Flink 对 Blink 的整合。

安全与风控 数据存储与数据库 网络与数据通信 python 函数 性能 SQL Apache 配置 容器 内存管理 Hive 分区表 UDF

浅析Hive/Spark SQL读文件时的输入任务划分

Hive以及Spark SQL等大数据计算引擎为我们操作存储在HDFS上结构化数据提供了易于上手的SQL接口,大大降低了ETL等操作的门槛,也因此在实际生产中有着广泛的应用。SQL是非过程化语言,我们写SQL的时候并不能控制具体的执行过程,它们依赖执行引擎决定。

大数据 hadoop SQL 开源 spark scala EMR Hive file big data sparksql

阿里云RDS数据库常用SQL语句分享

日常工作或学习过程中,会常用到某些SQL语句,又不太容易记忆的。

数据存储与数据库 innodb RDS 函数 SQL 数据库 code aliyun 云数据库RDS

阿里云分析型数据库初步了解及具体使用场景

随着企业IT和互联网系统的发展,产生了越来越多的数据。数据量的积累带来了质的飞跃,使得数据应用从业务系统的一部分演变得愈发独立。

数据存储与数据库 mysql SQL 数据库 高并发 数据仓库 Image aliyun 运营 分析型数据库 报表 数据存储 海量数据

RDS for SQL Serve使用OSS备份文件增量上云过程

今天主要分享基于OSS的增量上云到RDS SQL Server的功能。

数据存储与数据库 OSS RDS SQL 日志 数据库 控制台 aliyun 云数据库 Server

数据库代码化(Database-as-Code)实战(二)

前言 在数据库代码化(Database-as-Code)实战一文中介绍了如何借助 Flyway 实现 migration based 的数据库迁移。但在实践过程中,发现了如下问题: 随着项目的发展,迁移脚本数量会越来越多,而全新部署时由于要执行所有的历史变更,部署时间会越来越长。

python SQL 数据库 数据迁移 脚本 公共云

数据库代码化(Database-as-Code)实战

最近在做专有云输出时遇到了一个棘手的问题,客户需要将我们两年前发布的版本升级到最新版。由于跨度较长,产品代码和数据库 schema 都发生了巨大变化。产品代码部分因为采用了版本管理策略,拥有明确的升级路径,但数据库部分由于未采用代码化方案,导致升级路径缺失,整个升级过程非常艰难。

SQL 数据库 数据迁移 脚本 数据库迁移 index DML 存储过程 公共云

干货:30种SQL语句优化!

在sql查询中为了提高查询效率,我们常常会采取一些措施对查询语句进行sql优化,下面总结一些方法,供大家参考。

SQL 索引 存储过程 存储

从 Spark Streaming 到 Apache Flink:bilibili 实时平台的架构与实践

本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。

大数据 redis 架构 hbase SQL Apache 数据处理 集群 spark 流计算 flink 实时计算

1240
GO