阿里巴巴大数据 —玩家社区 + 关注
手机版

大数据搬站step by step

IDC,ECS自建和云数据库之间的数据搬站 1 IDC -> MaxCompute / EMR **【方案】:使用“独享数据集成资源组”,绑定可以连通用户IDC的用户VPC,然后提工单,由阿里云数据集成开发人员在独享数据集成资源组...

大数据 mysql 配置 集群 测试 Image 同步 aliyun BY 数据同步 html MaxCompute

基于MaxCompute InformationSchema进行冷门表热门表访问分析

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。

SQL 排序 数据管理 MaxCompute 数据应用

MaxCompute表设计最佳实践

MaxCompute表设计最佳实践 产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操作会产生大量小文件,从 而在做表设计的时候考虑避开此类操作。 使用MaxCompute Tunne...

数据存储与数据库 大数据 分布式系统与计算 日志 string 数据同步 分区表 数据采集 存储 MaxCompute

MaxCompute 表(Table)设计规范

表的限制项 表(Table)设计规范 表设计主要目标 表设计的影响 表设计步骤 表数据存储规范 按数据分层规范数据生命周期 按数据的变更和历史规范数据的保存 数据导入通道与表设计 分区设计与逻辑存储的对应 表和...

数据存储与数据库 大数据 分布式系统与计算 性能 分区表 Commit 存储 数据存储 MaxCompute

利用MaxCompute内建函数及UDTF转换json格式日志数据

本文介绍了如何使用MaxCompute UDF对JSON格式的日志进行信息提取和转换。

大数据 函数 日志 Json 数据仓库 odps aliyun string session list MaxCompute

基于MaxCompute构建企业用户画像(用户标签的制作)

在数据化营销时代,数据的价值越发显得更为珍贵。那如何让自己的数据发挥价值,也就是说如何让公司沉睡的数据能够驱动业务发展给公司带来商业价值?在营销里面我们都谈精准营销,谈用户画像,那用户画像到底如何构建,用户的标签如何开发?本示例给与最简单的...

云栖社区 日志 string 数据同步 Create MaxCompute 用户标签

离线计算中的幂等和DataWorks中的相关事项

概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例,有个对于一个单据的确认模块没有考虑到幂等性,导致对应的单据有两条确认记录。

etl 数据仓库 同步 离线计算 数据同步 幂等

MaxCompute跨Region数据迁移指导手册

本文的方案让用户可以方便地把数据通过SQL语句进行跨区域迁移

大数据 odps 数据迁移 同步 迁移 数据同步 MaxCompute

阿里云与Apache Flink商业公司DataArtisans于2017杭州云栖大会达成战略合作并发布

10月12日,Apache Flink商业公司DataArtisans CEO、联合创始人Kostas Tzoumas在云栖大会上宣布和阿里集团达成战略合作伙伴关系,希望能够借助全球最大的云计算公司之一阿里云,服务更多的大数据实时流计算的客...

大数据 阿里云 云栖大会 Apache 开源大数据 云服务 流计算 生态 flink

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

云栖社区 数据可视化 HTTPS SQL 日志服务 云栖大会 数据处理 数据库 workshop 配置 数据分析 流式计算 DataV 运营 流计算

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇

云栖社区 阿里云 HTTPS 日志 云栖大会 数据处理 workshop 配置 流式计算 timestamp 流计算 流数据

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇

云栖社区 数据可视化 阿里云 HTTPS ECS 日志 日志服务 云栖大会 数据处理 workshop 配置 Logtail 流式计算 流计算 流数据

阿里云MVP Meetup:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇

本手册为杭州阿里云MVP Workshop《云计算·大数据:海量日志数据分析与应用》的《数据分析展现:可视化报表及嵌入应用》篇而准备。主要阐述如何使用BDP个人版制作报表,将前面几个实验处理分析得来的数据进行有效的展现和洞察。

大数据 workshop 数据分析 MVP 可视化报表

阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区

当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃力,那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务(Maxcompute...

云栖社区 大数据 阿里云 RDS HTTPS 配置 数据迁移 同步 aliyun string 数据同步 分区表 MaxCompute 动态分区

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 阿里云 HTTPS SQL 控制台 脚本 流计算 实时处理 实时计算 实时报表 实时大屏

用 MaxCompute Studio 查看作业排队详情

本文首先对MaxCompute作业执行的各个阶段进行说明,然后以MaxCompute Studio为例,说明如何查看作业排队位置,查看队列详情以及作业状态转换历史信息。

大数据 SQL http 集群 odps Image git MaxCompute

4
GO
更多>
MaxCompute 大数据 阿里云 odps aliyun SQL 数加 数据仓库 配置 存储 函数 Image 数据同步 集群 算法 架构 云栖社区 HTTPS 云栖大会 数据库 string 海量数据 钉钉 数据处理 数据分析 飞天 性能 人工智能 阿里巴巴 同步 日志 数据安全 数据存储 测试 html UDF 分布式 分布式计算 hadoop 互联网 脚本 安全 python java 云服务 大数据分析 控制台 电商 解决方案 监控 运营 流计算 数据类型 数据迁移 分区表 workshop 数据存储与数据库 Mapreduce 数据可视化 阿里技术协会 分析型数据库 服务器 报表 流式计算 数据应用 Hive 大数据平台 分布式系统与计算 数据采集 排序 PyOdps mysql spark 淘宝 studio 离线计算 分布式系统 数据管理 大数据计算 DataFrame 大数据开发套件 工作流 大数据计算服务 传学 权限管理 深度学习 Create 机器学习 pandas 数据挖掘 性能优化 http class 沙箱 个性化推荐 JDBC OSS 物联网 大数据技术 数据流 阿里巴巴大数据计算 sdk 按量付费 日志分析 Json RDS 索引 alibaba 基础设施 工单 session 问答 创业 云平台 数据中心 Group ECS 查询优化 项目管理 异构数据 华大基因 弹性伸缩 云计算 HASH 模块 service Cloud static 开发环境 DataWorks 高可用 database list 分布式文件系统 布局 MongoDB Apache 凌云 公共云 github reduce 插件 表达式 BY 高性能 容灾 海量数据处理 data 高并发 etl 数据结构 安全组 推荐引擎 index 对象存储 流数据 PostgreSQL 袋鼠云 离线分析 MaxCompute最佳实践 表格存储 type 加密 Processing big 图计算 hdfs bigdata Mars graph 可视化报表 弹性计算 API 兼容性 bigbench 语音识别 云数据库 RAM LOG 日志服务 推荐系统 神经网络 windows