1. 云栖社区>
  2. 全部标签>
  3. #数据湖#
数据湖

#数据湖#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

OSS数据湖实践——parquet格式

通过对parquet格式及json格式的对比,了解两种常用格式之间存在的异同,了解parquet 能够提高作业性能的内在机制,并且阐述其能够带来的优势。

大数据 OSS 性能 SQL Apache path spark DataFrame file Blog 存储 数据存储 Parquet 数据湖

来,一起“八卦”一下数据湖

经过了几年的发展,在大数据时代红极一时的数据湖也在理想与现实之间慢慢发生着蜕变。现在,数据湖已经成为海量数据存储与分析的重要承载方式。

对象存储 阿里云办公 数据湖

OSS 数据湖实践 —— EMR+OSS入门

基于阿里云面向对象存储(OSS) 技术优势,利用EMR的计算能力,把二者结合起来,快速搭建大数据计算环境,实现大数据分析需求。

大数据 OSS hadoop Json 云服务器 Apache 配置 集群 云存储 spark aliyun 对象存储 e-mapreduce EMR 数据湖

数据湖的终极奥秘,无招胜有招 |《阿里云数据湖存储解决方案蓝皮书》江湖亮相

作为海量数据存储与分析的重要承载方式的数据湖,从2011年概念诞生至今,已经发展了9个年头。而数据湖是什么?又能为数字化经济带来什么?《阿里云数据湖存储解决方案蓝皮书》将为您揭开数据湖的"江湖"——无招胜有招‘

解决方案 对象存储 test 存储 海量数据 解读 数据湖 蓝皮书 趣味

成本下降60%!DLA发布优化,大幅降低OSS调用成本

很多用户使用DLA对存储在OSS上的数据的进行分析。并且,由于OSS极低的存储成本,也有很多用户也会选择通过SLS日志投递、DLA一键建仓等功能把其他数据源的数据转储到OSS进行分析。然而,由于OSS按照调用次数收费,在分析OSS数据时,因OSS接口调用而产生的成本往往会成为成本中较为显著的一个部分。

mysql 性能 集群 测试 Image Sqlserver aliyun 存储 数据湖

DLA支持分析MongoDB/RDS只读实例

在对Mysql,MongoDB等数据库系统进行分析时,经常面临的一个问题是在进行分析查询时如何避免对实时业务产生影响,也就是OLAP负载和OLTP负载隔离的问题。针对这个问题,阿里云数据湖团队一直在努力优化,提供满足不同场景的解决方案。

MongoDB mysql RDS 性能 数据库 Image aliyun html 数据湖

数据仓库、数据湖、流批一体,终于有大神讲清楚了!

数据仓库,数据湖,包括Flink社区提的流批一体,它们到底能解决什么问题?今天将由阿里云研究员从解决业务问题出发,将问题抽丝剥茧,从技术维度娓娓道来:为什么你需要数据湖或者数据仓库解决方案?它的核心难点与核心问题在哪?如果想稳定落地,系统设计该怎么做?

大数据 架构 高并发 数据仓库 Image 存储 MaxCompute 实时计算 DataWorks 交互式分析 数据湖 Hologres

只需一步,DLA开启TableStore多元索引查询加速!

一、背景介绍 Data Lake Analytics(简称DLA)在构建第一天就是支持直接关联分析Table Store(简称OTS)里的数据,实现存储计算分离架构,满足用户基于SQL接口分析Table Store数据需求。

数据存储与数据库 大数据 SQL 数据库 数据分析 aliyun 索引 并行计算 html 存储 数据湖

DLA访问TableStore的性能调优Hints、支持单字段update等

一、背景 Table Store是DLA最早支持的存储引擎,基于DLA+Table Store可以很好的满足大数据写入和分析的需求,具体如何使用可以看文章:DLA如何分析Table Store的数据 Hint是数据库系统中非常常用和重要的机制,用来干预SQL在数据库中的执行,从而实现性能调优、新功能灰度测试、紧急预案、执行计划选择、特殊功能选择性开启等等。

数据存储与数据库 大数据 TableStore 性能 SQL 数据库 aliyun 索引 表格存储 update 数据湖 DLA

2020年3月12日数据湖分析服务Data Lake Analytics发布计算引擎与控制台多项优化及改进

欢迎大家使用数据湖分析(DLA),DLA不仅仅便宜,且快,且方便,专为阿里云数据湖分析方案而生。

函数 数据库 Image 按量付费 控制台 aliyun 分区表 数据湖 DLA

数据湖分析服务Data Lake Analytics发布支持OSS多版本优化、控制台等多项优化及改进

数据湖分析服务 Data Lake Analytics SQL引擎是兼容MySQL协议的,具备高性能的Serverless化的联邦分析引擎,支持OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等数据源。

OSS mysql hbase 分析 数据库 Image 按量付费 控制台 aliyun ots 数据类型 云数据库MongoDB版 数据湖 DLA

Data Lake Analytics助力加和科技广告智能业务 - 性能提升4倍+,临时业务需求承接率提升200%+

阿里云Data Lake Analytics助力加和科技广告智能业务 - 性能提升4倍+,临时业务需求承接率提升200%+

大数据 性能 数据库 按量付费 图像识别 serverless 千人千面 协同过滤 数据湖 低成本分析

Tablestore+Delta Lake(快速开始)

本文介绍如何在E-MapReduce中通过Tablestore Spark Streaming Source将TableStore中的数据实时导入到Delta Lake中。 背景介绍 近些年来HTAP(Hybrid transaction/analytical processing)的热度越来越高,通过将存储和计算组合起来,既能支持传统的海量结构化数据分析,又能支持快速的事务更新写入,是设计数据密集型系统的一个成熟的架构。

TableStore hadoop 集群 主机 同步 spark aliyun e-mapreduce EMR 数据同步 表格存储 source 数据湖 deltalake

使用Data Lake Analytics从OSS清洗数据到AnalyticDB for MySQL 2.0

前提 必须是同一阿里云region的Data Lake Analytics(DLA)到AnalyticDB的才能进行清洗操作; 开通并初始化了该region的DLA服务(目前仅支持上海region(华东2),后续会同步其他region); 开通并购买了AnalyticDB的实例,实例规模和数据清洗速度强相关,与AnalyticDB的实例资源规模基本成线性比例关系。

OSS Image cdn 控制台 Create varchar AnalyticDB DataLakeAnalytics 数据湖 DataLake

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用廉价的商用硬件来存储海量数据。

大数据 hadoop Apache 人工智能 数据流 集群 数据分析 存储 数据存储 海量数据 开源计算 数据湖 数据集市

DLA新函数发布:事件路径分析

概述 业务系统常常会产生大量的事件日志和数据,记录各种事件发生的相关信息,一条事件日志或者数据通常包含如事件ID,事件名称,时间点等。针对该类事件日志或者数据,DLA新提供了事件路径分析的聚合函数,主要支持按照事件时间点、时间戳得到事件顺序发生的时间序列,某类或者多类、某个或者多个事件发生的时间间隔序列等等。

数据存储与数据库 函数 数据分析 aliyun BY 对象存储 序列 Group varchar 数组 数据湖 DataLake

教程:Data Lake Analytics + OSS数据文件格式处理大全

0. 前言 Data Lake Analytics是Serverless化的云上交互式查询分析服务。用户可以使用标准的SQL语句,对存储在OSS、TableStore上的数据无需移动,直接进行查询分析。

数据存储与数据库 大数据 分布式系统与计算 OSS hadoop SQL Json Apache 正则表达式 string Hive Create 存储 数据湖 DataLake

DLA新增函数发布:手机号查询所属省、城市、运营商

概述 本月,Data Lake Analytics(https://www.aliyun.com/product/datalakeanalytics,https://et.aliyun.com/bdad/datalake)发布了手机号查询所属省、城市、运营商的内置函数。

云栖社区 数据存储与数据库 函数 SQL aliyun string 数据湖

云原生日志数据分析上手指南

云原生日志数据分析上手指南 背景信息 本指南主要涉及阿里云云产品: 日志服务(SLS, https://www.aliyun.com/product/sls) 对象存储服务(OSS, https://www.aliyun.com/product/oss) Data Lake Analytics(DLA, https://www.aliyun.com/product/datalakeanalytics) 上述三款云产品均属于Serverless化的云原生服务型产品,无维护成本、高可用,简单配置即可在云上搭建起企业级的日志数据分析链路和应用。

数据存储与数据库 OSS 日志 配置 数据分析 aliyun string 分区表 html 存储 日志分析 数据湖

Data Lake Analytics中OSS LOCATION的使用说明

前言 Data Lake Analytic(后文简称 DLA)可以帮助用户通过标准的SQL语句直接对存储在OSS、TableStore上的数据进行查询分析。 在查询前,用户需要根据数据文件的格式和内容在DLA中创建一张表。

数据存储与数据库 大数据 分布式系统与计算 OSS string test Create csv 数据湖 DataLake

2
GO