1. 云栖社区>
  2. 全部标签>
  3. #MaxCompute#
MaxCompute

#MaxCompute#

已有4人关注此标签

内容分类:
博客 | 问答 | 课程 |

阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)

最近很多客户私信来咨询如何学习阿里云数加大数据计算服务MaxCompute 技术。为此,我们列了一个路线图供大家学习大数据计算服务MaxCompute。这个列表包含了一些社区的优秀资料和我们的原创文章。我们会随着大数据计算服务MaxCompute技术的发展持续更新本文,也会在云栖社区继续贡献

云栖社区 大数据 架构 阿里云 函数 SQL 数据处理 高可用 odps 数据分析 数加 Mapreduce 数据类型 MaxCompute 大数据学习

基于大数据开发套件的增量同步策略

因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,又是如何实现的?

大数据 数据仓库 数据同步 MaxCompute 开发套件 传学

用脚本模式配置数据同步

本文主要用自定义的ECS来调度来解网络不可达的问题。通过使用脚本模式来解因为网络不可达导致的向导模式无法配置的问题。

大数据 odps 数据同步 MaxCompute 大数据开发套件 传学

MaxCompute(ODPS)大数据容灾方案与实现(及项目落地实例)专有云

一,背景与概述    复杂系统的灾难恢复是个难题,具有海量数据及复杂业务场景的大数据容灾是个大难题。    MaxCompute是集团内重要数据平台,是自主研发的大数据解决方案,其规模和稳定性在业界都是领先的。

大数据 架构 配置 集群 odps 同步 版本管理 数据同步 容灾 异地 MaxCompute 阿里云大数据平台

袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测

随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢? 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

分布式 大数据 算法 阿里云 数据仓库 数据分析 数加 袋鼠云 分布式计算 分析型数据库 MaxCompute 海量数据

MySQL Driver 5.1.X与6.X日期兼容性问题

## 1.引言   最近在一个新项目里尝试使用`mysql-connector-java-6.0.5.jar`,但是从MaxCompute(原名ODPS)中导入MySQL的数据在控制台中看到是正常的,从Java应用里读取的却是相差13或14小时的。甚至SQL里限定了数据的时间在某一天,应用查出来的数据还能是不在那天的。这就很奇怪了,本着求根问底,踩坑识坑的精神,好好地研究了一把。   首先

java 服务器 mysql SQL 阿里技术协会 数据库 JDBC Driver 兼容性 timestamp 应用服务器 时区 MaxCompute

阿里云数加(大数据)打造雄安智慧新区

       自从4月1日,中共中央、国务院印发通知,决定设立河北雄安新区之后,这个无名小城就一夜爆红。雄安新区规划范围涉及河北省雄县、容城、安新3县及周边部分区域,地处北京、天津、保定腹地,是继深圳经济特区和上海浦东新区之后又一具有全国意义的新区。

深度学习 大数据 数据可视化 阿里云 个性化推荐 数据仓库 数据分析 数加 离线计算 分布式存储 数据存储 日志分析 MaxCompute 海量数据 雄安

关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

随着互联网、云计算、物联网、社交网络等技术的兴起和普及,全球数据的增长快于任何一个时期,可以称作是爆炸性增长。收集大量数据,并在数据中发现趋势,能使企业能够更快、更平稳、更有效地发展。然而,大数据对许多企业和数据专业人员来说,它仍然很难理解,那么,什么是大数据分析?如何利用阿里云数加平台进行海量数据分析,帮助企业更好地利用数据资源?“天德π客”众创空间特举办本期论坛——“基于阿里云的大数据实践——海量日志分析”,邀请华北电力大学电力系统及其自动化博士,阿里云大数据高级认证讲师宋亚奇主讲。

大数据 阿里云 数据处理 创业 数据分析 数加 物联网 数据同步 日志分析 工作流 大数据分析 MaxCompute 可视化报表

大数据开发套件中数据同步-日志报错回滚信息的一些问题总结

在使用大数据开发套件时最常用的就是数据同步模块,工单里最常见的问题就是其中数据同步的问题,这里总结一些常见一些从odps到其他数据源的同步任务报错案例,主要是日志中出现数据回滚写入的问题。   那首先看下日志中数据回滚的原因,当数据写入rds或者hybridDB等一些支持事务的数据库中,数据批量写入,一旦由于各种原因没有写入成功,这个批次的数据会回滚重新写入,如果再次写入失败,就会报脏数据的错误导致任务失败。

大数据 java PostgreSQL RDS 日志 数据库 odps 同步 解决方案 JDBC 数据同步 timestamp varchar 数据类型 MaxCompute

持续创新和改进,为用户创造最大价值,阿里云数加MaxCompute获得C-Tech Awards 2016年度“最具技术创新奖”

“C-Tech Awards 2016最具价值大奖评选”活动已经正式结束。从2016年12月22日线上征集至今,活动获得各大技术行业企业的高度关注,现已有来自国内外的近400家企业参与到了本次评选活动中,并提交了全面的产品简介和创新点解析。

大数据 安全 阿里云 SQL 阿里巴巴 数据安全 弹性伸缩 数加 沙箱 分布式计算 物联网 私有云 自建机房 离线分析 MaxCompute

ODPS JOB 长尾问题调优

长尾调优

大数据 SQL odps Group MaxCompute

MaxCompute JDBC 2.2 发布说明

相比于v.1.9.1,MaxCompute JDBC v.2.2在易用性、性能以及兼容性方面都有了更好的提升,本文将对其改进与差别做一下简要的说明。

数据可视化 性能 HTTPS 配置 odps aliyun JDBC 兼容性 varchar 数据类型 github MaxCompute

MaxCompute理解数据、运算和用户的大脑:基于代价的优化器

回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑:基于代价的优化器》的分享,为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。

分布式 大数据 函数 MaxCompute 大数据技术峰会

大数据打造你的变美频道——数加平台上小红唇的大数据实践

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上,来自小红唇的王洋分享了数加平台上小红唇的大数据实践。他对数据仓储解决方案和搜索引擎进行了详细介绍。通过算法平台应用的基于视频元信息的回归、近义词、业务总线三个案例具体介绍了数加平台的大数据应用实践。

大数据 算法 阿里云 服务器 数据仓库 电商 数加 运营 流计算 数加平台 MaxCompute 推荐引擎

双管齐下,MaxCompute数据上云与生态

在票选最美云上大数据暨大数据技术峰会上,来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手,延伸到DTS、Logstash、DataX等官方/开源软件,向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据,分享最后还介绍了如何在Python和R语言中使用MaxCompute。

大数据 阿里云 数据库 带宽 流计算 MaxCompute

佰腾科技的专利大数据的云上裂变之路

在票选最美云上大数据暨大数据技术峰会上,来自江苏佰腾科技有限公司的许鹏通过介绍佰腾专利大数据平台的演化、上云前后的平台结构和任务处理流程,为大家分享了专利大数据的云上裂变之路,解释了非专业人士也能进行专利信息的检索与统计,即专利信息的大众化。

大数据 阿里云 数据处理 数据库 互联网 数据分析 数据挖掘 沙箱 索引 MaxCompute 数据应用

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪

摘要: 目前我国物流业保持较快增长,但还是存在一些问题:物流成本高、效率低,条块分割严重(自营物流、规模小、技术落后、标准不统一)、基础设施相对滞后(物流基础设施之间不衔接、不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段.

大数据 阿里云 数据处理 数据库 配置 同步 控制台 数据同步 数据管理 MaxCompute

17
GO