1. 云栖社区>
  2. 全部标签>
  3. #DataLakeAnalytics#
DataLakeAnalytics

#DataLakeAnalytics#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

使用Data Lake Analytics从OSS清洗数据到AnalyticDB for MySQL 2.0

前提 必须是同一阿里云region的Data Lake Analytics(DLA)到AnalyticDB的才能进行清洗操作; 开通并初始化了该region的DLA服务(目前仅支持上海region(华东2),后续会同步其他region); 开通并购买了AnalyticDB的实例,实例规模和数据清洗速度强相关,与AnalyticDB的实例资源规模基本成线性比例关系。

OSS Image cdn 控制台 Create varchar AnalyticDB DataLakeAnalytics 数据湖 DataLake

教程:如何在Data Lake Analytics中使用临时表

前言 Data Lake Analytics (后文简称DLA)是阿里云重磅推出的一款用于大数据分析的产品,可以对存储在OSS,OTS上的数据进行查询分析。相较于传统的数据分析产品,用户无需将数据重新加载至DLA,只需在DLA中创建一张与数据源关联的表,不仅简化了分析过程,还节约了存储成本,是做大数据分析的不二之选。

数据存储与数据库 分布式系统与计算 OSS hadoop Apache aliyun string Hive 大数据分析 DataLakeAnalytics 数据湖

教程:如何通过DLA实现数据文件格式转换

前言 Data Lake Analytic(后文简称 DLA)可以帮助用户通过标准的SQL语句直接对存储在OSS、TableStore上的数据进行查询分析。 对于同一份数据来说,以不同的格式保存,不仅在存储空间上有差别,在使用DLA查询时执行时间也是有差别的。

数据存储与数据库 分布式 OSS aliyun string test 存储 DataLakeAnalytics DLA 格式转换

使用Data Lake Analytics快速分析OSS上的日志文件

背景 Data Lake Analytics (后文简称 DLA)是Serverless化的云上交互式查询分析服务,用户可以通过标准的SQL语句对存储在OSS, OTS, RDS等介质上的数据进行快速地查询分析。

nginx linux OSS hadoop 日志 windows Apache request 正则表达式 Server string 日志分析 DataLakeAnalytics DLA

如何在阿里云上使用Data Lake Analytics分析Table Store数据

数据湖(Data Lake)是时下大数据行业热门的概念:https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析,可以不用做任何ETL、数据搬迁等前置过程,实现跨各种异构数据源进行大数据关联分析,从而极大的节省成本和提升用户体验。

数据存储与数据库 mysql OLAP ots 分析型数据库 bigdata bigquery DataLakeAnalytics 数据湖分析 DLA

Data Lake Analytics: 使用DataWorks来调度DLA任务

DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,今天就给大家介绍一下如何使用DataWorks来调度DLA的脚本任务。

配置 控制台 aliyun string Create DataWorks DataLakeAnalytics DLA

教程: 使用PreparedStatement访问DLA

大家都知道PreparedStatement相比手动拼写SQL有很多好处,比如: 它会自动做敏感字符的转义,防止SQL Injection攻击。 它可以帮助我们动态执行SQL,Prepare一次之后,后续执行只需要替换参数就可以了。

云栖社区 mysql SQL string c# PreparedStatement DataLakeAnalytics DLA

下一代企业级云上数据分析服务:Data Lake Analytics

0. Data Warehouse VS Data Lake 0.1 传统数仓 数据来源于各类云数据存储、NoSQL和关系型数据库等系统,比如OSS、Table Store、NAS、 云HBase、RDS、PolarDB等; 数据以实时、分钟、小时、天等级别进行ETL抽取与同步到数仓系统中; 在数仓中进行实时、定时调度、汇总计算分析。

数据存储与数据库 OSS 性能 Image cdn 数据分析 aliyun 数据存储 big data DataLakeAnalytics DataLake DLA

在Data Lake Analytics中使用视图

在Data Lake Analytics中使用视图 1. 概述 在Data Lake Analytics(以下简称DLA)中使用视图(VIEW)功能,可以大大简化对于重复SQL,特别是较为复杂的SQL语句的编写和维护。

数据存储与数据库 OSS SQL schema Create view DataLakeAnalytics DataLake

Data Lake Analytics的Geospatial分析函数

0. 简介 为满足部分客户在云上做Geometry数据的分析需求,阿里云Data Lake Analytics(以下简称:DLA)支持多种格式的地理空间数据处理函数,符合Open Geospatial Consortium’s (OGC) OpenGIS规范,支持的常用数据格式包括: WKT WKB GeoJson ESRI Geometry Object Json ESRI Shape DLA采用4326坐标系标准,EPSG 4326使用经纬度坐标,属于地理坐标系。

数据存储与数据库 函数 SQL aliyun varchar big data DataLakeAnalytics DataLake DLA

Data Lake Analytics: 读/写PolarDB的数据

Data Lake Analytics 作为云上数据处理的枢纽,最近加入了对于PolarDB的支持, PolarDB 是阿里云自研的下一代关系型分布式云原生数据库,100%兼容MySQL,存储容量最高可达 100T,性能最高提升至 MySQL 的 6 倍。

mysql SQL VPC 数据库 测试 aliyun Create varchar POLARDB DataLakeAnalytics DLA

DataLakeAnalytics: 解析IP地址对应的国家城市地址的能力

Data Lake Analytics 作为云上数据处理的枢纽,最近加入了通过IP地址查找对应的国家、省份、城市、ISP的函数, 今天带大家体验一下。 函数详细介绍 本次一共添加了下面这些函数: ip2region: 功能最全的函数,可以获取国家,省份,城市的信息,而且支持语言切换, 但是参数较多。

mysql 函数 aliyun IP Bash DataLakeAnalytics DLA

Data Lake Analytics: 以SQL方式查询Redis数据

Data Lake Analytics 作为云上数据处理的枢纽,最近加入了对于Redis 的支持, 这篇教程带你玩转 DLA 的 Redis 支持。 创建数据库 在 DLA 里面创建一个底层映射到 Redis 的数据库的语法如下: CREATE DATABASE `redis_test` WIT...

redis SQL Json 数据库 aliyun csv 云数据库Redis版 DataLakeAnalytics DLA

使用Airflow来调度Data Lake Analytics的任务

今天我们来介绍一下使用Airflow来调度 DataLakeAnalytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案,客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。

mysql ECS 数据库 配置 集群 Bash DataLakeAnalytics DLA

Severless SQL on OSS 实验

数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。

OSS SQL Image 同步 控制台 aliyun string schema Create big data serverless DataLakeAnalytics

2
GO