1. 云栖社区>
  2. 全部标签>
  3. #数据仓库#
数据仓库

#数据仓库#

已有2人关注此标签

内容分类:
博客 | 问答 | 课程 |

云栖大会 · 南京峰会 | 通往智能之路上的新技术

时隔一年,云栖大会又来到了南京。一大早,从江苏各地赶来的开发者、创新者、创业者已经齐聚一堂。今年的大会又是盛况空前,不仅有各种活动和演讲,而且也有很多首次露面的新的技术。那么下面就跟随小编的步伐去一探究竟吧!

大数据 阿里云 服务器 云栖大会 互联网 人工智能 阿里巴巴 数据仓库 持续交付 分布式计算

详解IBM大数据应用五大方向

摘要:IBM全球副总裁王阳博士详解IBM大数据应用的五大方向:探索大数据发现和业务相关的兴趣点、全面了解客户优化每次客户互动、分析海量机器数据提高运营效率、利用IT新技术从现有数据仓库中获得更多价值并降低成本、分析大数据所有类型和来源强化传统安全方案。

大数据 安全 hadoop 数据库 数据仓库 数据安全 数据分析 解决方案 运营 物联网 计算机系统 IBM 大数据分析

数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径

让业务搭乘大数据技术确实是件非常有吸引力的事情,而Apache Hadoop让这个诱惑来的更加的猛烈。Hadoop是个大规模可扩展数据存储平台,构成了大多数大数据项目基础。Hadoop是强大的,然而却需要公司投入大量的学习精力及其它的资源。

大数据 NOSQL hadoop 数据库 数据仓库 数据分析 解决方案 存储

基于大数据开发套件的增量同步策略

因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,又是如何实现的?

大数据 数据仓库 数据同步 MaxCompute 开发套件 传学

创业公司如何做数据分析(六)数据仓库的建设

作为系列文章的第六篇,本文将重点探讨数据处理层中数据仓库的建设。如何建设一个适于分析的数据存储系统,该系统的工作应该包含两部分:第一,根据需求抽象出数据模型;第二,按照数据模型的定义,从各个数据源抽取数据,进行清洗、处理后存储下来。 中间数据流失,计算结果没有共享。

python mysql 数据处理 创业 数据仓库 数据分析 云市场

漫谈阿里大数据

目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象。我也担心我所看到的,只是大数据的冰山一角,毕竟,将引领整个人类下一次变革的大数据,不是几篇文章就能说清楚的。

大数据 算法 阿里云 hadoop 用户体验 数据仓库 数加 淘宝 分布式计算 数据应用

袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测

随着大数据技术的蓬勃发展,现在关于大数据技术在各行各业的实践也如火如荼。 那么当大数据技术遇到光伏行业会产生何样的化学反应呢? 下面就和大家一起分享一下袋鼠云是如何使用阿里云数加平台和机器学习平台助力光伏行业的。

分布式 大数据 算法 阿里云 数据仓库 数据分析 数加 袋鼠云 分布式计算 分析型数据库 MaxCompute 海量数据

阿里云数加(大数据)打造雄安智慧新区

       自从4月1日,中共中央、国务院印发通知,决定设立河北雄安新区之后,这个无名小城就一夜爆红。雄安新区规划范围涉及河北省雄县、容城、安新3县及周边部分区域,地处北京、天津、保定腹地,是继深圳经济特区和上海浦东新区之后又一具有全国意义的新区。

深度学习 大数据 数据可视化 阿里云 个性化推荐 数据仓库 数据分析 数加 离线计算 分布式存储 数据存储 日志分析 MaxCompute 海量数据 雄安

数据挖掘之数据准备——原始数据的特性

最初为数据挖掘准备的所有原始数据集通常很大,它们中的许多都和人有关,且比较杂乱。

云栖社区 数据存储与数据库 系统研发与运维 深度学习 大数据 数据仓库 数据分析 数据挖掘

数据挖掘——数据仓库

虽然存在数据仓库并不是数据挖掘的先决条件,但实际上,若能访问数据仓库,数据挖掘的任务就会变得容易的多。 数据仓库的主要目标是增加决策过程的“情报”和此过程的相关人员的知识。数据仓库对不同的人来说有不同的意义。

云栖社区 数据存储与数据库 系统研发与运维 深度学习 数据库 数据仓库 数据挖掘 OLAP 存储 数据存储

海量高性能列式数据库HiStore介绍

HiStore是阿里中间件技术团队研发的数据库产品,是一款基于独特的知识网格技术的列式数据库,定位于海量数据高压缩比列式存储,是低存储成本,低维护成本,海量数据OLAP存储引擎;有效的解决了海量数据存储的成本问题,以及在百亿数据场景下支持实时高效的多维度自由组合的检索。

大数据 架构 算法 性能优化 mysql 数据库 数据仓库 索引 高性能 存储 数据存储 海量数据

数据挖掘——数据挖掘过程

数据挖掘:数据挖掘是从已知数据集合中发现各种模型,概要和导出值的过程 数据挖掘是一个迭代的过程:首先研究数据,利用某个分析工具来检查数据,然后从另一个角度来考虑这些数据,根据需要修改数据,接着从头开始,应用另外一个数据分析工具得到更好的或者不同的结果。

数据存储与数据库 网络与数据通信 深度学习 数据仓库 数据分析 数据挖掘

PostgreSQL 10.0 preview 性能增强 - 推出JIT开发框架(朝着HTAP迈进)

标签 PostgreSQL , 10.0 , HTAP , 动态编译 , JIT , LLVM , 表达式 , 函数跳转 背景 数据库发展了几十年,出现了很多产品,有面向OLTP(在线事务处理)的,有面向OLAP(在线分析)的。

数据存储与数据库 PostgreSQL 函数 性能 HTTPS 数据处理 数据库 高并发 数据仓库 索引 OLAP 开发框架 存储 在线分析

【玩转ElasticSearch】降维打击!使用ElasticSearch作为时序数据库

本篇分享最近把ElasticSearch当作时序数据库来用的心得。• 需求需求是这样的:提供一个后台,选用户画像标签(多选),点确认后弹出“选出了xxx个用户”,再继续点就把用户dump出来、推送消息。现在要做这个后台的数据仓库层。详细分析一下需求:1. 我们的用户画像走流式计算,每秒大量更新,所以对插入/更新性能要求很高。2. 查询条件翻译成SQL就是类似 se

数据存储与数据库 算法 分布式系统与计算 性能 阿里技术协会 高可用 数据库 配置 数据仓库 node logstash 流式计算 索引 Elasticsearch

数加平台——阿里大数据OS实践

在云栖计算之旅第5期——大数据与人工智能大会上,阿里云大数据事业部数加平台技术负责人陈廷梁从数加定义、起源、愿景、价值、架构、规划六个方面分享了《数加平台——阿里大数据OS实践》。其中,他主要介绍了数加平台的演进过程和阿里大数据OS的架构。

大数据 人工智能 数据仓库 数加 数加平台

大数据打造你的变美频道——数加平台上小红唇的大数据实践

在2017在线峰会——票选最美云上大数据暨大数据技术峰会上,来自小红唇的王洋分享了数加平台上小红唇的大数据实践。他对数据仓储解决方案和搜索引擎进行了详细介绍。通过算法平台应用的基于视频元信息的回归、近义词、业务总线三个案例具体介绍了数加平台的大数据应用实践。

大数据 算法 阿里云 服务器 数据仓库 电商 数加 运营 流计算 数加平台 MaxCompute 推荐引擎

“NASA”计划背后,阿里巴巴大数据系统架构概述

DT时代,人们比以往任何时候都收集到更多的数据。据IDC报告,预计到2020年,全球数据总量将超过40ZB(相当于40万亿GB),这一数据量是2011年的22倍!正在“爆炸式”增长的数据,其潜在巨大价值有待发掘。

大数据 架构 日志 数据处理 阿里巴巴 数据仓库 流式计算 数据采集 存储 数据存储 数据管理 海量数据 数据应用

详解Hadoop系统:Hadoop架构、各部分功能及对大数据的意义

作者:51CTO。本文重点探讨Hadoop系统的组成部分,如MapReduce、HDFS、Pig、Hive、HBase、Zookeeper等,并解释各个组成部分的功能。

大数据 架构 hbase hdfs hadoop 数据仓库 云市场 Hive

一种对数据仓库友好的数据库设计

系统可以分为两种:一种是 联机交易系统(OLTP),一种是在线分析系统(OLAP)。OLTP用来收集数据,然后把数据同步到OLAP,在OLAP中进行分析数据。 OLAP可以减少OLTP的负载,提高对数据的利用率。

数据仓库 同步 OLAP 数据同步 数据库设计

开源大数据周刊-第44期

阿里云E-MapReduce实践 E-MapReduce的HBase集群间迁移 E-MapReduce提供HBase服务,本文介绍了几种HBase集群间迁移的方法。 E-MapReduce中Spark 2.x读写MaxCompute数据 最新的aliyun-emapreduce-sdk将MaxCompute数据以DataSource的方式接入Spark 2.x,用户可以使用类似Spark 2.x中读写json/parquet/csv的方式来访问MaxCompute。

云栖社区 大数据 分布式系统与计算 性能优化 阿里云 hbase hadoop HTTPS http 数据仓库 集群 spark 开源大数据 e-mapreduce Hive

4
GO