阿里云Data Lake Analytics + 关注
手机版

数据湖分析服务Data Lake Analytics发布支持OSS多版本优化、控制台等多项优化及改进

数据湖分析服务 Data Lake Analytics SQL引擎是兼容MySQL协议的,具备高性能的Serverless化的联邦分析引擎,支持OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等数...

OSS mysql hbase 分析 数据库 Image 按量付费 控制台 aliyun ots 数据类型 云数据库MongoDB版 数据湖 DLA

数据湖分析服务 Data Lake Analytics发布SQL补全、缓存等多项优化

Data Lake Analytics控制台作为使用DLA的第一入口,本次发布了SQL查询的多个易用性功能,满足极致丝滑的体验。下面跟我一起操作起来: SQL查询关键字补全能力进入SQL查询,在编辑框写SQL,对于"SELECT"、"FR...

大数据 mysql SQL 数据库 Image 按量付费 控制台 aliyun schema 数据湖分析

DataLakeAnalysis: 使用DataX同步Kafka数据到OSS进行分析

平常业务开发中我们经常有流式数据保存在Kafka里面,这部分数据很多场景也是需要分析的,今天给大家介绍下如果使用DataX把数据从Kafka同步到OSS,保存成对分析友好的Parquet格式,然后利用DLA进行分析的全流程。

OSS 同步 string 数据同步 分区表 timestamp Group

DLA支持MongoDB的嵌套字段查询

背景 DLA之前对于MongoDB只支持简单类型的映射查询,对于嵌套字段无法直接查询,最近我们加入了对嵌套字段直接查询的支持,这篇文章给大家介绍一下。 MongoDB嵌套字段查询详解 首先我们在MongoDB里面准备一个带有嵌套数据结构的...

架构 MongoDB 函数 SQL HA string 数据结构

DLA支持Parquet/ORC表的Alter Table Add Column

蛮多客户提过需求:要给一个表添加列,之前推荐的做法是让客户把表删掉重建,因为DLA是计算存储分离的,删掉的其实只是计算层的元数据,存储层的数据不会动,还是比较轻量级的一个操作。不过这种做法对于一些有特别多分区的表来说代价还是还是挺大的,要删...

OSS mysql SQL ADD string Create 存储

Data Lake Analytics助力加和科技广告智能业务 - 性能提升4倍+,临时业务需求承接率提升200%+

阿里云Data Lake Analytics助力加和科技广告智能业务 - 性能提升4倍+,临时业务需求承接率提升200%+

大数据 性能 数据库 按量付费 图像识别 serverless 千人千面 协同过滤 数据湖 低成本分析

DLA新函数发布:事件路径分析

概述 业务系统常常会产生大量的事件日志和数据,记录各种事件发生的相关信息,一条事件日志或者数据通常包含如事件ID,事件名称,时间点等。针对该类事件日志或者数据,DLA新提供了事件路径分析的聚合函数,主要支持按照事件时间点、时间戳得到事件顺...

数据存储与数据库 函数 数据分析 aliyun BY 对象存储 序列 Group varchar 数组 数据湖 DataLake

使用DLA轻松实现漏斗数据分析

概述 漏斗分析是帮助运营人员分析一个多步骤过程中每一步的转化与流失情况。假设我们在购买商品的过程中,需要触发的事件包括 “启动”,“登陆”,“搜索商品”,“查看商品”,“生成订单”等。运营人员需要分析某段时间内(比如2017年1月5号到2...

数据存储与数据库 大数据 函数 SQL Image 数据分析

DLA新增函数发布:手机号查询所属省、城市、运营商

概述 本月,Data Lake Analytics(https://www.aliyun.com/product/datalakeanalytics,https://et.aliyun.com/bdad/datalake)发布了手机号查询...

云栖社区 数据存储与数据库 函数 SQL aliyun string 数据湖

DLA一键建仓

DLA很早之前就支持了对关系型数据库的查询,但是一直以来用户会有一个担心: 直接分析RDS里面的数据会不会影响线上业务。 这个担心很合理,除非你要查询的RDS是专门用来做后台数据分析使用的,否则直接大规模分析确实可能会造成数据库性能下降...

OSS RDS 数据库 配置 同步 数据同步 schema DLA

海量CDN日志高性价比分析方案

概述 CDN产生大量日志,可以进行日志转存(https://help.aliyun.com/document_detail/88894.html)到OSS bucket中。也可以进行实时日志推送(https://help.aliyun.c...

数据存储与数据库 OSS 日志 request cdn 正则表达式 aliyun 分区表 html varchar 日志分析

DLA处理JSON对象连续存放到同一行的场景

背景 用户有个场景,就是所有JSON数据对象连续存放在同一行。例如: {"employees":[{"firstName":"Bill","lastName":"Gates"},{"firstName":"George","lastNa...

云栖社区 数据存储与数据库 互联网产品及应用 大数据 OSS 函数 日志 Json 工单 数据分析 aliyun 数据存储

云上最便捷的JSON数据处理

概述 您可能有大量应用程序产生的JSON数据,您可能需要对这些JSON数据进行整理,去除不想要的字段,或者只保留想要的字段,或者仅仅是进行数据查询。那么,利用阿里云Data Lake Analytics或许是目前能找到的云上最为便捷的达...

数据存储与数据库 大数据 Json 数据处理 path aliyun 模糊匹配 Create

四步实现DLA跨云账号分析OSS数据

背景 在使用Data Lake Analytics(https://et.aliyun.com/bdad/datalake)进行OSS数据分析时,通常云账号A是访问自己的OSS bucket数据,如果有访问其他云账号(假设云账号B)的O...

数据存储与数据库 大数据 OSS RAM Image aliyun 物联网 schema

DLA新增函数发布:身份证、星座、拼音、Json数组、经纬度城市查询、互联网坐标系经纬度转换等

概述 本月,Data Lake Analytics(https://et.aliyun.com/bdad/datalake)发布了一批新增的内置函数,涉及身份证地域查询、星座查询、中文拼音转换、Json数组内容字段提取、互联网坐标系经...

数据存储与数据库 大数据 函数 SQL Json 互联网 aliyun string 数组

DLA SQL技巧:行、列转换和JSON数据列展开

1. 简介 在数据库SQL处理中,常常有行转列(Pivot)和列转行(Unpivot)的数据处理需求。本文以示例说明在Data Lake Analytics(https://www.aliyun.com/product/datalake...

数据存储与数据库 函数 SQL Json 数据处理 表达式 source Group

DLA支持MaxCompute(ODPS)数据源

DLA支持MaxCompute(ODPS)数据源 1. 概述 支持功能包括: MaxCompute(ODPS)的数据查询,目前复杂数据类型以字符串形式返回; 一条命令同步对应project下的所有表。

大数据 SQL odps 同步 aliyun string 分区表 Create html MaxCompute 数据湖

云原生日志数据分析上手指南

云原生日志数据分析上手指南 背景信息 本指南主要涉及阿里云云产品: 日志服务(SLS, https://www.aliyun.com/product/sls) 对象存储服务(OSS, https://www.aliyun.c...

数据存储与数据库 OSS 日志 配置 数据分析 aliyun string 分区表 html 存储 日志分析 数据湖

Data Lake Analytics: 基于OSS文件自动推断建表

背景 用户在使用Data Lake Analytics对OSS上的数据建表时,需要预先知道目标文件的格式和schema信息。当目标文件中每条记录对应的列数很多时,需要一个个手动匹配,很不方便。 在新版的Data Lake Analy...

OSS schema Create mapping DLA

DLA SQL分析函数:SQL语句审计与分析的利器

1. 简介 Data Lake Analytics(https://www.aliyun.com/product/datalakeanalytics)最新release一组SQL内置函数,用来进行SQL语句的分析、信息提取,方便用户对...

函数 SQL varchar DataLake

数据湖分析Data Lake Analytics是阿里云数据库自研的核心产品,是新一代CloudNative分析平台;开放计算,支持MySQL协议,支持Presto、Spark引擎;主打低成本、Serverless无托管成本;统一元数据、可以让用户拥有统一的数据视图。目前在阿里云有服务超过数千个客户,分析OSS、OLAP、NoSQL、OLAP等各种数据源,为企业盘活数据,提供商业价值。 产品地址:https://www.aliyun.com/product/datalakeanalytics

管理员:
DataLakeAnalytics
13
+ 关注
14
成员
42
文章