阿里巴巴大数据 —玩家社区 + 关注
手机版

阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

由阿里巴巴统一大数据计算平台MaxCompute研发团队,历经1年多研发,打破大数据、科学计算领域边界,完成第一个版本并开源。 Mars,一个基于张量的统一分布式计算框架。使用 Mars 进行科学计算,不仅使得完成大规模科学计算任务从Map...

深度学习 分布式 大数据 集群 Image aliyun 多线程 分布式计算 MaxCompute

21分钟教会你分析MaxCompute账单

阿里云大计算服务MaxCompute是一款商业化的大数据分析平台,其计算资源有预付费和后付费两种计费方式。并且产品每天按照project为维度进行计量计费(账单基本情况下会第二天6点前产出)。本文使用的为云上客户真实数据,故在下文中的截图都...

数据存储与数据库 大数据 SQL Image aliyun Group 存储 MaxCompute

使用MaxCompute Java SDK 执行任务卡住了,怎么办?

场景一 用户A A: “亲,用 MaxCompute Java SDK 跑作业,为什么卡住不动了?” me: “有 Logview 吗?发来看下” A: “没有,我用的是SDK,没Logview” 场景二 用户B B :“...

云栖社区 大数据 java sdk odps request string MaxCompute

使用 top instance 命令查看运行中 MaxCompute 作业

我们都知道,在 MaxCompute Console 里,可以使用下面的命令来列出运行完成的 instance 列表。 show p|proc|processlist [from <yyyy-MM-dd>] [to <yyyy-MM-d...

云栖社区 大数据 list MaxCompute

中小企业如何借力工业互联网抵抗死亡潮?

对于不同的企业来说,跨步进入工业互联网的核心问题并不是“怎么做”,而是“能做什么”、以及“能不能做”。 尤其是在政策大力推动企业“上云上平台”的过程中,企业投入人力和成本,那么“上云了之后能做什么”就成为了很多中小企业主最大的疑问和顾...

大数据 算法 互联网

使用MaxCompute Java SDK运行安全相关命令

使用MaxCompute Console的同学,可能都使用过MaxCompute安全相关的命令。官方文档上有详细的MaxCompute安全指南,并给出了安全相关语句汇总。 简而言之,权限管理、列级别访问控制、项目空间安全配...

云栖社区 大数据 安全 java sdk odps aliyun string 权限管理 schema Create account MaxCompute

在DataWorks中实现指定UDF只能被指定账户访问

在DataWorks中实现指定资源只能被指定账户访问

安全与风控 配置 odps Image blank UDF MaxCompute

MaxCompute安全管理指南-案例篇

通过《MaxCompute安全管理-基础篇》了解到MaxCompute和DataWorks的相关安全模型、两个产品安全方面的关联,以及各种安全操作后,本篇主要给出一些安全管理案例,给安全管理的成员作为参考。

MaxCompute安全管理指南-基础篇

背景及目的 方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维,保障数据安全。 MaxCompute有安全模型,DataWorks也有安全模型,当通过DataWorks使用MaxC...

安全 项目管理 MaxCompute MaxCompute数据安全管理

使用应用程序(Java/Python)访问MaxCompute Lightning进行数据开发

很多开发者希望利用Lightning的特性开发数据应用,本文将结合示例介绍Java和Python如何连接访问Lightning进行应用开发。内容包括通过Java的JDBC、druid方式连接访问Lightning,Python通过pysco...

python 大数据 java PostgreSQL SQL 配置 aliyun string exception class MaxCompute

Mars 算法实践——人脸识别

Mars 是一个基于矩阵的统一分布式计算框架,在之前的文章中已经介绍了 Mars 是什么, 以及 Mars 分布式执行 ,而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么,这几乎取决于你想做什么,因...

python 分布式 算法 session 人脸识别 tensor Numpy Mars svd

Mars 如何分布式地执行

先前,我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用,本文将介绍 Mars 已实现的分布式执行架构,欢迎大家提出意见。 架构 Mars 提供了一套分布式执行 Tensor 的库。

分布式 集群 PyOdps 磁盘 存储 tensor Mars Arrow

Mars 是什么、能做什么、如何做的——记 Mars 在 PyCon China 2018 上的分享

最近,在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars,基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听到 Mars,很多第一次听说的同学都会灵...

python 分布式 机器学习 性能 多进程 pandas GPU Numpy Mars cupy numexpr

Mars——基于矩阵的统一分布式计算框架

很高兴在这里宣布我们的新项目:Mars,一个基于矩阵的统一分布式计算框架。我们已经在 Github 开源:https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言...

python 深度学习 分布式 大数据 算法 PyOdps pandas 分布式计算 actor scikit-learn tensor Numpy Mars ndarray cupy

阿里云MaxCompute12月刊

MaxCompute12月刊等待您的查收,12月产品更新文档、技术直播干货整理,1月最新产品发布动态,详情请阅读本文

分布式 大数据 线下活动 aliyun MaxCompute Mars

互联网下半场的角逐,玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场(北京站)

你可知,每个时代,都悄悄犒赏会学习的人。因此,我在这里等你来,一起演绎大数据故事。

云栖社区 大数据 互联网 Image 钉钉 MaxCompute 人人车 轻资产

免费带你体验阿里巴巴旗舰大数据计算产品MaxCompute

什么是MaxCompute? 众所周知,MaxCompute是阿里云推出的承载EB级的数据存储能力,百PB级的单日计算能力,公共云覆盖国内外十几个国家和地区,专有云包含城市大脑在内部署超过100+套的阿里巴巴的统一计算平台。

大数据 hadoop 性能 SQL 配置 odps aliyun 数据同步 存储 数据存储 MaxCompute 海量数据

2018MaxCompute开发者圣诞趴 — 承认吧,你向往的不是红包,而是最前沿的大数据技术

Jingle bells,大数据开发者的圣诞时间到~ 这封圣诞邀请,我想发给所有MaxCompute开发者和大数据爱好者们, 搞个Party,你可别说你要改bug, 发几波红包,你可别说你眼里只有code, 送几轮礼物,你可别说你...

大数据 数据存储 MaxCompute

30
GO
更多>
MaxCompute 大数据 阿里云 odps 数加 aliyun SQL 数据仓库 配置 存储 HTTPS 数据同步 架构 函数 算法 云栖大会 集群 阿里巴巴 数据库 人工智能 数据处理 数据分析 性能 海量数据 string 云栖社区 数据安全 日志 同步 钉钉 UDF 分布式 测试 分布式计算 飞天 数据存储 python 安全 脚本 互联网 大数据分析 Image 云服务 hadoop 解决方案 分析型数据库 阿里技术协会 电商 数据可视化 流计算 workshop 控制台 java 监控 流式计算 运营 大数据平台 服务器 分区表 Mapreduce html 数据采集 报表 数据应用 大数据开发套件 排序 数据存储与数据库 大数据计算 机器学习 studio 大数据计算服务 传学 分布式系统 PyOdps 数据类型 mysql 工作流 数据迁移 数据挖掘 性能优化 pandas http 分布式系统与计算 JDBC 深度学习 离线计算 Hive 数据管理 大数据技术 DataFrame 物联网 权限管理 个性化推荐 Create 数据流 沙箱 OSS 淘宝 日志分析 索引 数据中心 基础设施 模块 class sdk alibaba RDS 工单 云计算 云平台 ECS 项目管理 Json 创业 凌云 公共云 Cloud DataWorks 插件 Group reduce 布局 按量付费 HASH 对象存储 MaxCompute最佳实践 袋鼠云 华大基因 session 推荐引擎 database 高性能 海量数据处理 高可用 高并发 MongoDB spark 查询优化 异构数据 弹性伸缩 etl 流数据 分布式文件系统 github LOG 表格存储 编程语言 容灾 service 开发环境 Processing 存储过程 static 图计算 可视化报表 Mars graph 弹性计算 bigdata BY bigbench timestamp 安全组 专有云 日志服务