1. 云栖社区>
  2. 全部标签>
  3. #数据仓库#
数据仓库

#数据仓库#

已有10人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Dataworks调度能力升级——分支节点

在学习一门新的编程语言时,经常能在基础语法中看到赋值、分支、循环等语法。那用DataWorks进行数据开发的过程中,如何完成分支、赋值等操作呢?

python 配置 数据仓库 Image 表达式 MaxCompute DataWorks

在网易和百度实习之后,我才明白了这些事

​ 壹 在猪场的短暂时光 刚出学校大门,我的实习之路才刚刚开始。

架构 程序员 数据仓库 专有云

Table Store新一代数据实时消费通道:Tunnel Service介绍

通道服务Tunnel Service是基于Table Store数据接口之上的全增量一体化服务,它通过一组Tunnel Service API和SDK为用户提供了增量、全量和增量加全量三种类型的分布式数据实时消费通道。

消息系统 监控 NOSQL TableStore 函数 数据仓库 负载均衡 控制台 ots 表格存储 service 流计算 数据通道 事件驱动 TunnelService

阿里云获ITSS最高等级认证:公共云、专有云服务能力双一级

近日,阿里云在由ITSS(中国电子工业标准化技术协会信息技术服务分会)颁发的云计算服务能力标准评选中获公共云、专有云双一级资质,这也是该标准评选中的最高等级。 云计算服务能力评估由工信部软司牵头,委托ITSS围绕云计算服务中人员、技术、流程、资源、性能等关键环节进行能力测试,能够为最终用户选择和评价云服务提供参考依据。

架构 飞天 服务器 互联网 数据仓库 云存储 操作系统 解决方案 云市场 云服务

SparkSQL在有赞的实践

作者: 邹晨俊 有赞大数据离线计算负责人 本文介绍了SparkSQL在有赞数据仓库的实践,以及离线任务从Hive向SparkSQL迁移的一些经验

大数据 STS SQL 数据仓库 集群 spark 分布式计算 Hive sparksql

2018Postgres中国用户大会(大象汇)—最全资料下载,PPT+回顾视频

“Postgres中国技术大会2018(大象汇,第8届)是一场汇聚各界PostgreSQL大拿、交流最新业界技术动态和真实应用案例的盛宴。PG大象汇的成功举办推动了PostgreSQL数据库在中国的发展,也拉近了中国与世界的距离。

云栖社区 大数据 架构 性能优化 PostgreSQL postgres 高可用 数据库 数据仓库 中间件 aliyun 云数据库 分布式架构 分布式数据库 并行查询

发光的二次元——克拉克拉上云实践

克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社区软件,通过阿里云MaxCompute方案,克拉克拉实现数据上云,解决海量数据存储与计算的瓶颈。

大数据 mysql 日志 数据仓库 Image 数据分析 同步 分布式计算 数据同步 报表 存储 工作流 MaxCompute 海量数据

人脸识别技术在HBase中的探索和应用

一、HBase基础与存储的优势HBase主要具有五大核心优势,即海量存储、列式存储、易扩展、高并发以及稀疏矩阵。HBase所能够应用的场景包括对象存储、用户画像推荐、聊天消息实时流、索引、报表以及轨迹数据和监控数据等。

hbase 性能 数据仓库 Image 索引 存储 数据存储 人脸识别

阿里云大数据计算服务MaxCompute使用教程

阿里云大数据计算服务MaxCompute使用教程 MaxCompute简介 大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

分布式 大数据 安全 算法 SQL 数据库 高并发 数据仓库 数据安全 数据分析 分布式计算 编程 Mapreduce 存储 MaxCompute

宜人贷 PaaS 数据服务平台Genie 简介(一)

本文介绍了数据工程的发展历史,以及数据平台的发展历史。介绍了宜人贷数据平台的技术框架以及人员架构等。

分布式 大数据 数据仓库 PaaS 数据管理 数据平台

12月21日云栖精选夜读 | 推荐:一款分布式的对象存储服务

最近公司在准备内部数据上云,并且内部数据库每天的数据量很大,需要采用大数据存储的方案。 方案调研每个程序技术在实现之前,需要进行开源产品的调研,适合自己产品的技术方案才是最好的。 需求我们需要处理是图像信息,大小在1M左右。

python 分布式 大数据 java 程序员 数据仓库 排序 对象存储 数据同步 专有云 数据结构 人脸识别

记录一次数据同步到数据仓库的架构与实践

背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。

架构 mysql 数据仓库 Image Hive 数据同步 binlog 存储

课堂随笔1 - MOOC网站日志分析

大数据Clouder:MOOC网站日志分析 日志,log,事件记录网站日志:系统日志,程序日志 网站的系统访问日志,有通用格式 网站日志分析:(1)价值/重要性:运行,安全,运营,用户信息(2)流程:采集,处理,展现,结果 重要性:①网站运行状况(如网站PV,UV),②网站安全状况(如恶意攻击,密码暴力破解),③网站运营状况(如搜索引擎流量来源),④网站用户信息(如操作系统,浏览器)。

大数据 安全 日志 配置 数据仓库 数据分析 正则表达式 搜索引擎 数据类型 日志分析 MaxCompute 数据门户

学习笔记2 - 利用元数据管理数据质量

大数据Clouder:利用元数据管理数据质量 元数据①定义:元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

大数据 数据仓库 测试 存储 数据管理

基于Kubernetes的瓜子云的任务调度系统

很大的挑战。 接下来我讲详细介绍一下瓜子云的任务调度系统搭建所遇到的问题和解决方案。 需求 瓜子最早的时候,任务调度用的是Crontab,后来由于数据仓库的复杂调度需求,我们引入了Airflow。Airflow支持DAG依赖,失败重试,历史状态记录,log收集等多种非常使用的功能。

docker mysql web 配置 镜像 数据仓库 容器 云平台 k8s

115
GO