julian.zhou + 关注

DLA SQL技巧:行、列转换和JSON数据列展开

发布时间:2019-06-19 14:53:33 浏览:985 评论 :0

1. 简介 在数据库SQL处理中,常常有行转列(Pivot)和列转行(Unpivot)的数据处理需求。本文以示例说明在Data Lake Analytics(https://www.aliyun.com/product/datalakeanalytics)中,如何使用SQL的一些技巧,达到行转列(Pivot)和列转行(Unpivot)的目的。

数据存储与数据库 函数 SQL Json 数据处理 表达式 source Group

DLA支持MaxCompute(ODPS)数据源

发布时间:2019-06-19 14:43:48 浏览:710 评论 :0

DLA支持MaxCompute(ODPS)数据源 1. 概述 支持功能包括: MaxCompute(ODPS)的数据查询,目前复杂数据类型以字符串形式返回; 一条命令同步对应project下的所有表。

大数据 SQL odps 同步 aliyun string 分区表 Create html MaxCompute 数据湖

云原生日志数据分析上手指南

发布时间:2019-06-19 14:37:58 浏览:1704 评论 :0

云原生日志数据分析上手指南 背景信息 本指南主要涉及阿里云云产品: 日志服务(SLS, https://www.aliyun.com/product/sls) 对象存储服务(OSS, https://www.aliyun.com/product/oss) Data Lake Analytics(DLA, https://www.aliyun.com/product/datalakeanalytics) 上述三款云产品均属于Serverless化的云原生服务型产品,无维护成本、高可用,简单配置即可在云上搭建起企业级的日志数据分析链路和应用。

数据存储与数据库 OSS 日志 配置 数据分析 aliyun string 分区表 html 存储 日志分析 数据湖

DLA SQL分析函数:SQL语句审计与分析的利器

发布时间:2019-04-12 18:35:10 浏览:673 评论 :0

1. 简介 Data Lake Analytics(https://www.aliyun.com/product/datalakeanalytics)最新release一组SQL内置函数,用来进行SQL语句的分析、信息提取,方便用户对SQL语句进行语法层面的审计、分析,可以应用于很多安全、数据库日志分析等场景。

函数 SQL varchar DataLake

在Data Lake Analytics中使用视图

发布时间:2019-01-16 15:08:38 浏览:1130 评论 :0

在Data Lake Analytics中使用视图 1. 概述 在Data Lake Analytics(以下简称DLA)中使用视图(VIEW)功能,可以大大简化对于重复SQL,特别是较为复杂的SQL语句的编写和维护。

数据存储与数据库 OSS SQL schema Create view DataLakeAnalytics DataLake

Data Lake Analytics的Geospatial分析函数

发布时间:2018-11-14 10:59:16 浏览:1060 评论 :0

0. 简介 为满足部分客户在云上做Geometry数据的分析需求,阿里云Data Lake Analytics(以下简称:DLA)支持多种格式的地理空间数据处理函数,符合Open Geospatial Consortium’s (OGC) OpenGIS规范,支持的常用数据格式包括: WKT WKB GeoJson ESRI Geometry Object Json ESRI Shape DLA采用4326坐标系标准,EPSG 4326使用经纬度坐标,属于地理坐标系。

数据存储与数据库 函数 SQL aliyun varchar big data DataLakeAnalytics DataLake DLA

下一代企业级云上数据分析服务:Data Lake Analytics

发布时间:2018-09-05 22:18:33 浏览:3677 评论 :0

0. Data Warehouse VS Data Lake 0.1 传统数仓 数据来源于各类云数据存储、NoSQL和关系型数据库等系统,比如OSS、Table Store、NAS、 云HBase、RDS、PolarDB等; 数据以实时、分钟、小时、天等级别进行ETL抽取与同步到数仓系统中; 在数仓中进行实时、定时调度、汇总计算分析。

数据存储与数据库 OSS 性能 Image cdn 数据分析 aliyun 数据存储 big data DataLakeAnalytics DataLake DLA

使用Data Lake Analytics从OSS清洗数据到AnalyticDB

发布时间:2018-08-08 21:50:07 浏览:2844 评论 :1

前提 必须是同一阿里云region的Data Lake Analytics(DLA)到AnalyticDB的才能进行清洗操作; 开通并初始化了该region的DLA服务(目前仅支持上海region(华东2),后续会同步其他region); 开通并购买了AnalyticDB的实例,实例规模和数据清洗速度强相关,与AnalyticDB的实例资源规模基本成线性比例关系。

OSS Image cdn 控制台 Create varchar AnalyticDB DataLakeAnalytics 数据湖 DataLake

教程:使用Data Lake Analytics + OSS分析CSV格式的TPC-H数据集

发布时间:2018-08-07 22:35:52 浏览:2640 评论 :0

0. Data Lake Analytics(DLA)简介 关于Data Lake的概念,更多阅读可以参考:https://en.wikipedia.org/wiki/Data_lake 以及AWS和Azure关于Data Lake的解读:https://amazonaws-china.

数据存储与数据库 云存储技术 OSS SQL 数据分析 aliyun BY string Group csv 数据湖 DataLake 数据湖分析