阿里巴巴大数据 —玩家社区 关注
手机版

DataWorks2.0的“业务流程”与1.0的“工作流”的对比

DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。新版抛弃了“工作流”这个概念,引入了“业务流程”和“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概...

模块 数据库 数据仓库 解决方案 数据同步 工作流 大数据开发套件 DataWorks

MaxCompute表设计最佳实践

MaxCompute表设计最佳实践 产生大量小文件的操作 MaxCompute表的小文件会影响存储和计算性能,因此我们先介绍下什么样的操...

数据存储与数据库 大数据 分布式系统与计算 日志 string 数据同步 分区表 数据采集 存储 MaxCompute

MaxCompute 表(Table)设计规范

表的限制项 表(Table)设计规范 表设计主要目标 表设计的影响 表设计步骤 表数据存储规范 按数据分层规范数据生命周期...

数据存储与数据库 大数据 分布式系统与计算 性能 分区表 Commit 存储 数据存储 MaxCompute

利用MaxCompute内建函数及UDTF转换json格式日志数据

本文介绍了如何使用MaxCompute UDF对JSON格式的日志进行信息提取和转换。

大数据 函数 日志 Json 数据仓库 odps aliyun string session list MaxCompute

基于MaxCompute构建企业用户画像(用户标签的制作)

在数据化营销时代,数据的价值越发显得更为珍贵。那如何让自己的数据发挥价值,也就是说如何让公司沉睡的数据能够驱动业务发展给公司带来商业价值?在营销里面我们都谈精准营销,谈用户画像,那用户画像到底如何构建,用户的标签如何开发?本示例给与最简单的...

云栖社区 日志 string 数据同步 Create MaxCompute 用户标签

离线计算中的幂等和DataWorks中的相关事项

概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多...

etl 数据仓库 同步 离线计算 数据同步 幂等

MaxCompute跨Region数据迁移指导手册

本文的方案让用户可以方便地把数据通过SQL语句进行跨区域迁移

大数据 odps 数据迁移 同步 迁移 数据同步 MaxCompute

阿里云与Apache Flink商业公司DataArtisans于2017杭州云栖大会达成战略合作并发布

10月12日,Apache Flink商业公司DataArtisans CEO、联合创始人Kostas Tzoumas在云栖大会上宣布和阿里...

大数据 阿里云 云栖大会 Apache 开源大数据 云服务 流计算 生态 flink

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

云栖社区 数据可视化 HTTPS SQL 日志服务 云栖大会 数据处理 数据库 workshop 配置 数据分析 流式计算 DataV 运营 流计算

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析视频日志》篇

云栖社区 阿里云 HTTPS 日志 云栖大会 数据处理 workshop 配置 流式计算 timestamp 流计算 流数据

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:海量流式视频日志收集》篇

云栖社区 数据可视化 阿里云 HTTPS ECS 日志 日志服务 云栖大会 数据处理 workshop 配置 Logtail 流式计算 流计算 流数据

阿里云MVP Meetup:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇

本手册为杭州阿里云MVP Workshop《云计算·大数据:海量日志数据分析与应用》的《数据分析展现:可视化报表及嵌入应用》篇而准备。主要阐述如何使用BDP个人版制作报表,将前面几个实验处理分析得来的数据进行有效的展现和洞察。

大数据 workshop 数据分析 MVP 可视化报表

阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区

当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃...

云栖社区 大数据 阿里云 RDS HTTPS 配置 数据迁移 同步 aliyun string 数据同步 分区表 MaxCompute 动态分区

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时...

云栖社区 大数据 阿里云 HTTPS SQL 控制台 脚本 流计算 实时处理 实时计算 实时报表 实时大屏

用 MaxCompute Studio 查看作业排队详情

本文首先对MaxCompute作业执行的各个阶段进行说明,然后以MaxCompute Studio为例,说明如何查看作业排队位置,查看队列详...

大数据 SQL http 集群 odps Image git MaxCompute

大数据上云那些事儿:(一)上云工具之爬虫(Scrapy)数据

在如今互联网环境下,网络上的各种业务数据,如新闻,社交网站,交易类数据等各种各样的数据越来越多被应用到企业的数据运营中,这些数据一般都数据...

python 大数据 javascript HTTPS odps logger 数加 string 分区表 爬虫 scrapy MaxCompute

数加:从数据工程师到CDO的七次升职路

2017云栖大会深圳峰会,阿里云高级产品专家陈鹏宇带来题为“数加:迈向数据智能之路”的演讲。本文引入一个数据工程师到首席数据官的七次升职过程...

数加

4
GO
更多>
MaxCompute 大数据 阿里云 odps 数加 SQL aliyun 数据仓库 配置 HTTPS 存储 函数 架构 数据同步 云栖大会 算法 阿里巴巴 集群 数据库 人工智能 数据处理 数据分析 海量数据 性能 数据安全 string 日志 同步 云栖社区 钉钉 测试 UDF 分布式计算 飞天 脚本 分布式 大数据分析 数据存储 互联网 python 云服务 安全 hadoop 解决方案 Image 分析型数据库 阿里技术协会 电商 数据可视化 流计算 workshop 控制台 监控 流式计算 运营 大数据平台 服务器 java html Mapreduce 分区表 数据采集 报表 数据应用 大数据开发套件 排序 大数据计算 studio 大数据计算服务 传学 分布式系统 机器学习 数据存储与数据库 数据类型 mysql 工作流 数据迁移 数据挖掘 性能优化 http JDBC 离线计算 Hive 数据管理 大数据技术 PyOdps DataFrame 淘宝 物联网 分布式系统与计算 个性化推荐 数据流 沙箱 OSS pandas 日志分析 权限管理 深度学习 Create 索引 数据中心 基础设施 模块 RDS alibaba 工单 云计算 云平台 ECS Json class 创业 凌云 公共云 Cloud 插件 DataWorks 项目管理 sdk reduce 布局 按量付费 HASH 对象存储 MaxCompute最佳实践 袋鼠云 service 华大基因 Group 推荐引擎 database 高性能 海量数据处理 高可用 高并发 查询优化 MongoDB spark 异构数据 弹性伸缩 etl 分布式文件系统 流数据 github LOG 表格存储 编程语言 容灾 开发环境 存储过程 static Processing session 图计算 可视化报表 BY graph 弹性计算 bigdata timestamp bigbench utf-8 安全组 专有云 日志服务