1. 云栖社区>
  2. 全部标签>
  3. #Hive#
Hive

#Hive#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

大数据平台测试

一.大数据平台测试简述 大数据平台测试包括2部分:基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持 大数据平台是否能够通过界面的形式方便用户进行非运行维护,主要包括集群的安装、监控、配置、操作等 大数据平台是否能够提供基本的安全方案 a).

hbase hadoop 性能 高可用 集群 排序 测试 分布式计算 分布式文件系统 Hive 性能测试 权限管理 大数据平台

小红书如何实现高效推荐?解密背后的大数据计算平台架构

小红书作为生活分享类社区,目前有8500万用户,年同比增长为300%,大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一,本文主要分享在推荐业务场景中小红书的实时计算应用。

大数据 平台架构 Image Hive schema 报表 session 流计算 推荐系统

即将发版!Apache Flink 1.9 版本有哪些新特性?

文整理自开源大数据专场中阿里巴巴高级技术专家杨克特(鲁尼)先生的精彩演讲,主要讲解了Apache Flink过去和现在的发展情况,同时分享了对Apache Flink未来发展方向的理解。

大数据 SQL Apache Image runtime API Hive 流计算 Blink 实时计算 ApacheFlink Flink1.9.0

Spring-Boot

Spring-Boot开发常用组件划分: 1、数据操作 ORM工具 Mybatis/Jpa 数据库 Postgresql/MySQL 缓存 Redis 搜索 ElasticSearch 2、池化工具 连接池 c3p0 线程池 3、定时器 4、大数据组件 消息 ...

大数据 redis PostgreSQL mysql SQL 线程 数据库 spark Elasticsearch Hive mybatis C3P0

数据湖正在成为新的数据仓库

新一代数据仓库实际上是数据湖,对那些用于构建和训练机器学习模型的清洗,整合和验证的数据进行管理。例如,去年秋天在Amazon re:Invent 大会上,亚马逊网络服务公布了AWS Lake Formation。

云栖社区 系统软件 移动开发与客户端 大数据 Apache 人工智能 数据仓库 Hive 存储 数据存储 安全问道

【译】数据湖正在成为新的数据仓库

原文链接 https://www.infoworld.com/article/3405443/the-data-lake-is-becoming-the-new-data-warehouse.html?upd=1561666042410 译者:诚历,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。

大数据 Apache 人工智能 数据仓库 Hive 存储 数据存储

钉钉群直播【Spark Relational Cache 原理和实践】

主要介绍Relational Cache/物化视图的历史和背景,以及EMR Spark基于Relational Cache加速Spark查询的技术方案,及如何通过基于Relational Cache的数据预计算和预组织,使用Spark支持亚秒级响应的交互式分析使用场景。

云栖社区 系统软件 数据存储与数据库 系统研发与运维 大数据 hadoop Apache Cache 钉钉 spark EMR Hive 分布式系统

钉钉群直播【Migration to Apache Spark】

Spark因其统一引擎、性能、易用性等特点备受青睐,将大数据处理引擎迁移到Spark已经成为一种趋势(比如将Hive迁移到SparkSQL),很多大公司也正在实践。 本次分享将围绕Hive迁移到SparkSQL进行展开,内容包括介绍大公司迁移流程、遇到的问题以及对Spark做的一些反馈优化。

nginx 编程语言 移动开发与客户端 网络与数据通信 ios 大数据 性能 Apache 钉钉 spark Hive 安全问道

钉钉群直播【Migration to Apache Spark】

Spark因其统一引擎、性能、易用性等特点备受青睐,将大数据处理引擎迁移到Spark已经成为一种趋势(比如将Hive迁移到SparkSQL),很多大公司也正在实践。

安全与风控 数据存储与数据库 移动开发与客户端 linux 大数据 性能 Apache 钉钉 spark Hive

钉钉群直播【Spark Relational Cache 原理和实践】

主要介绍Relational Cache/物化视图的历史和背景,以及EMR Spark基于Relational Cache加速Spark查询的技术方案,及如何通过基于Relational Cache的数据预计算和预组织,使用Spark支持亚秒级响应的交互式分析使用场景。

云栖社区 编程语言 网络与数据通信 大数据 hadoop Apache Cache 钉钉 spark EMR Hive 分布式系统 安全问道

回顾 | Apache Flink 1.9 版本新特性强势预告!(内含PPT下载链接)

6月29日,Apache Flink Meetup 北京站圆满落幕,Apache Flink 1.9 版本是自 Flink 1.0 之后变化最大的版本,社区对 Flink 进行大量重构并且加入了很多新 Feature。此次 Meetup 重点解读 Flink 1.9 版本新特性。

大数据 架构 Apache runtime API Hive 高性能 兼容性 流计算 实时计算 AI及大数据

数据库的七种武器-序章

数据库简介 名称 特点 劣势 描述 Oracle 多表关联 事务 收费贵 水平扩展麻烦 重剑无锋,大巧不工,数年前持之横行天下 Mysql 水平扩展容易 多表关联效率较慢 不滞于物,草木竹石均可为剑 Postgresql 多表关联相比Mysql效率较高 水平扩展相对麻烦 凌厉刚...

数据存储与数据库 redis PostgreSQL NOSQL MongoDB mysql Oracle 数据库 索引 Hive 分布式数据库 存储 云数据库MongoDB版

教程:如何在Data Lake Analytics中使用临时表

前言 Data Lake Analytics (后文简称DLA)是阿里云重磅推出的一款用于大数据分析的产品,可以对存储在OSS,OTS上的数据进行查询分析。相较于传统的数据分析产品,用户无需将数据重新加载至DLA,只需在DLA中创建一张与数据源关联的表,不仅简化了分析过程,还节约了存储成本,是做大数据分析的不二之选。

数据存储与数据库 分布式系统与计算 OSS hadoop Apache aliyun string Hive 大数据分析 DataLakeAnalytics 数据湖

Apache Flink Meetup · 北京站

Apache Flink Community China Meetup,关于大数据、实时计算、流计算、批处理等。邀请到Apache Flink PMC和Airbnb、阿里巴巴多位 Apache Flink Committer 现场分享。

大数据 架构 算法 Apache Hive 高性能 流计算 flink 实时计算

上一页 1 ... 4 5 6 7 8 ... 66 下一页
66
GO