1. 云栖社区>
  2. 全部标签>
  3. #数据仓库#
数据仓库

#数据仓库#

已有11人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

选型宝访谈:如何基于Hadoop打造企业大数据分析及机器学习的平台?

对于企业来说,如何基于Hadoop 打造企业大数据分析及机器学习平台?在选型中,应该关注哪些问题,为此,选型宝特邀Cloudera大中华区售前技术总监刘隶放先生进行了专业解读......。 1 大数据业务应用场景和用户需求 主持人:说到数据分析应用,数据仓库是以往常用的方法,如今Cloudera提出要从传统数据仓库转移到这个Hadoop大数据平台上来,请问原因是什么? 刘隶放:这个问题如果您在3~4年前问我,我给的答案会不一样。

大数据 安全 架构 hadoop 模块 数据仓库 大数据分析 IT选型 选型

企业可以不要大数据,但必须要有“数据中台”

企业可以不要大数据,但必须要有“数据中台”139w.com 鼎点网络 2015年,马云拜访名为Supercell的芬兰游戏公司,虽然这家公司仅有180人,但是他们开发新游戏的速度特别快,公司旗下游戏DAU已经突破1亿。

大数据 架构 数据库 数据仓库 数据挖掘 流式计算 离线计算 分布式文件系统 分布式数据库 数据采集 存储 数据类型 数据存储 大数据分析

选型宝访谈:移动+社交时代,如何治理“大数据洪水”?

写在前面 不管你是否愿意,随着移动互联网和社交工具的普及,一个充满了机遇和挑战的大数据时代悄然来临了。就在大家纷纷谈论数据驱动创新、数据创造价值的时候,仍有许多企业的CIO/CDO在这个新时代面前感到茫然和困惑: 我的企业的数据在哪里?它有什么价值? 数据治理,应该建立怎样的完整框架? 在完整的框架下,应该用怎样的工具武装自己 ? 移动+社交时代,海量非结构化、半机构化数据涌来,如何应对? 智能数据湖是怎么回事儿?它和数据仓库是什么关系? …… 为了找到这些问题的答案,我们特意采访了全球领先的数据管理专家Informatica的中国北方区总经理李晨先生。

大数据 数据仓库 数据安全 数据管理 数据治理 IT选型 选型

选型宝分享Informatica中国数据管理5大经典案例

写在前面 5月18日,选型直播曾做过一期题为“移动+社交时代,如何治理大数据洪水?”的节目,在那期节目中,Informatica北方区总经理李晨先生系统地介绍了Informatica公司的背景、大数据治理的完整框架,以及最新的“智能数据湖”解决方案。

大数据 架构 数据处理 数据仓库 数据安全 解决方案 数据管理 数据治理 IT选型 选型

SpringCloud----->springboot项目读取mysql的binlog日志

springboot项目读取mysql的binlog日志,在去年的时候,我就遇到一个需求,需要把mysql数据库中的数据的增、删、改的数据准实时做数据清洗,也就是ETL工作,同步到公司的数据仓库greenplum中(数据库数据变化的监听从而同步缓存(如Redis)数据等)。

Greenplum mysql 日志 数据库 配置 数据仓库 同步 grant replication variables binlog canal

SpringCloud----->在springboot项目中跑起来控制台项目

在springboot项目中跑起来控制台项目: springboot通常都是用来做restful api的web项目。 但是也有极少情况下,需要跑控制台项目,在去年的时候,我就遇到一个需求,需要把mysql数据库中的数据的增、删、改的数据准实时做数据清洗,也就是ETL工作,同步到公司的数据仓库greenplum中。

Greenplum mysql 日志 数据库 web 配置 数据仓库 同步 控制台 replication variables binlog

选型宝访谈:什么是人人可用的BI平台?

前言 无智能,不商业。在智能商业时代,BI正逐渐成为企业的标配。然后,曾几何时,BI还只是数据达人和IT高手的专属工具。传统BI系统给人的印象,往往是沉重、缓慢、不接地气,并导致很多BI项目最终沦为面子工程,无法为企业创造真正的价值。

用户体验 数据仓库 数据分析 IT选型 选型 BI平台

全新一代企业级大数据应用模式揭秘

三个问题 1.当下是否还需要一个复杂的EDW(企业级数据仓库)? 2.数据系统的目标用户是谁? 3.让数据适应计算能力还是计算跟着数据走 数据仓库这个概念在二十多年前由Bill Inmon提出后,几乎所有的IT厂商都开始介入这个领域,为企业级数据仓库设计非常复杂的体系结构和数据模型,典型的企业级数据应用架构如下: 这个架构,层次结构非常清晰,但是链路非常长,导致数据冗余非常大,同时数据表结构关系复杂,是一个典型的给技术人员使用的模型,业务的同学要使用数据是非常难的,没法理解底层复杂的表结构和表之间复杂的关联关系。

大数据 架构 数据仓库 存储 数据应用

Hadoop生态系统

Hadoop生态系统 首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。

分布式 hbase hdfs hadoop 数据库 数据仓库 集群 数据挖掘 分布式计算 google 分布式文件系统 Hive 离线分析 zookeeper Mapreduce

后端技术杂谈12:捋一捋大数据研发的基本概念

你了解你的数据吗(开篇) 转自http://www.mdjs.info/2018/03/05/data-warehouse/concept-of-dw/0x00 前言你了解你的数据吗? 前几天突然来了点灵感,想梳理一下自己对数据的理解,因此便有了这篇博客或者说这系列博客来聊聊数据。

大数据 监控 数据仓库 集群 数据挖掘

阿里中间件研发面经

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/82702351 阿里中间件研发面经   本文首发于微信公众号:程序员江湖 研发工程师(Java)           我参与了阿里巴巴中间件部门的提前批面试,一共经历了四次面试,拿到了口头offer。

RPC 分布式 算法 java 消息队列 程序员 线程 高并发 数据仓库 集群 阿里中间件 中间件 排序 多线程 专有云

在互联网大厂实习之后,我明白了这些事

壹 在猪场的短暂时光                             刚出学校大门,我的实习之路才刚刚开始。在网易待了3个月不到,百度待了五个月左右,总共8个月左右的实习时间,说长也长,说短也短,但这两段经历确实也是我人生中宝贵的财富,为我后续参加秋招面试也加分不少。

架构 程序员 互联网 数据仓库 百度 专有云 网易 实习

阿里云MaxCompute 2019-7月刊

7月MaxCompute最新资讯,技术好文,8月精彩活动预告,尽在7月刊。

大数据 飞天 数据仓库 aliyun 权限管理 html 数据存储 MaxCompute 海量数据

DataWorks:代码自动解析原理和依赖关系原理带入实际场景看报错

设置节点依赖关系的目的在于,检测sql里面所查询的表的数据是几点产出的,我们通过节点的状态成功默认上游数据顺利产出。

云栖社区 SQL 数据仓库 数据服务 调度依赖 DataWorks 自动解析

DataWorks新手引导

DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。

云栖社区 大数据 运维 SQL 日志 数据仓库 测试 脚本 MaxCompute DataWorks 数据工场 运维中心

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

云栖社区 系统软件 系统研发与运维 网络与数据通信 linux 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 分布式计算 安全问道

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

安全与风控 数据存储与数据库 移动开发与客户端 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 开源大数据 分布式计算 source 磁盘

AnalyticDB for MySQL 3.0 技术架构解析

企业数据需求不断变化,近年来变化趋势日益明显,从数据的3V特性看:体积,速度和变化;Big Data强调数据量,PB级以上,是静态数据。而Fast Data在数据量的基础上,意味着速度和和变化,意味着客户可以更加实时化、更加快速地进行数据处理。

分布式 架构 mysql 性能 弹性 模块 高可用 数据仓库 集群 云盘 aliyun 磁盘 云数据库RDS AnalyticDB

123
GO