1. 云栖社区>
  2. 全部标签>
  3. #Hive#
Hive

#Hive#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统,同时借助Hive进行ETL任务。客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云E-MapReduce集群。

架构 mysql hadoop 云服务器 数据库 配置 镜像 安全组 数据仓库 集群 Image 数据迁移 控制台 e-mapreduce Hive

手动搭建Gateway连接阿里云E-MapReduce

本文介绍用户自建gateway连接阿里云EMR的一种方案

java hadoop 安全组 集群 e-mapreduce 脚本 EMR Hive input

阿里云 MaxCompute 2019-12 月刊

2019年12月刊中,您将了解到 MaxCompute推出更加灵活的预付费资源模型-非预留计算资源,让您在成本不变的情况下使用更多弹性的计算资源;同时,MaxCompute 支持使用开源地理空间函数,更多详情请阅读本月刊。

大数据 飞天 函数 日志 数据迁移 aliyun Hive html 数据类型 MaxCompute

Hive性能优化(全面)

Hadoop的计算框架特性下的HIve有效的优化手段

性能优化 hadoop 性能 reduce 排序 Hive Group

Hive性能优化(全面)

Hadoop的计算框架特性下的HIve有效的优化手段

性能优化 hadoop 性能 reduce 排序 Hive Group

MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写

MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。

hadoop 函数 Apache odps aliyun string Hive UDF index list arraylist 数据类型 MaxCompute

60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践

Spark 可以可靠地 shuffle 并排序 90 TB 以上的中间数据,并在一个作业中运行 250,000个 tasks。与基于 Hive 计相比,产生了显著的性能改进( CPU性能提升、节省了资源的使用,降低延迟)。

性能 Apache 配置 集群 排序 Image 钉钉 spark Driver Hive CPU facebook

Delta Lake 0.5.0 正式发布,支持包括 Hive/Presto 等多种查询引擎

Delta Lake 0.5.0 于2019年12月13日正式发布,这个版本支持多种查询引擎查询 Delta Lake 的数据,比如常见的 Hive、Presto 查询引擎。并发操作得到改进。

SQL path 数据仓库 钉钉 spark 开源大数据 Redshift Hive html 并发控制

仅1年GitHub Star数翻倍,Flink 做了什么?

在 Flink Forward Asia 2019 上,阿里巴巴资深技术专家,实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进,阿里对 Flink 社区的贡献以及未来 Flink 的最新发展方向。

python 大数据 算法 SQL Apache 数据分析 Hive github AI 流计算 k8s flink 实时计算

仅1年GitHub Star数翻倍,Flink 做了什么?

阿里妹导读:Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。

python 大数据 算法 SQL Apache 数据处理 数据分析 Hive github

Flink Batch SQL 1.10 实践

1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。

大数据 架构 性能 SQL pipeline Hive session 流计算 flink 实时计算 Batch

MaxCompute中使用OSS外部表读取JSON数据

本文介绍了MaxCompute中使用OSS外部表读取JSON文件的数据,以及需要设立的flag。

云栖社区 SQL Json odps Image Hive

大数据安全系统

产品简介中安威士大数据安全平台(VS-BDSG)专注于为大数据环境的数据资产提供一系列的审计、访问控制、加密、脱敏等保护措施及管控,对数据的收集、加工、存储、应用等全生命周期的每个环节进行自动监测和实时处理。

大数据 安全 算法 hbase hdfs 加密 性能 数据库 安全平台 配置 数据安全 安全防护 Hive 数据库安全 数据库审计

Hive数据如何同步到MaxCompute之实践讲解

本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能、技术架构和实现原理,再通过实际操作MMA,演示将Hive数据迁移到MaxCompute。

架构 SQL 配置 数据迁移 同步 Hive 数据同步 数据结构 数据类型 工作流 MaxCompute

开源大数据生态下的 Flink 应用实践

11 月 28-30 日,Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的优秀实践。

大数据 SQL Apache 流式计算 开源大数据 Hive 培训 流计算 数据管理 实时计算 ClickHouse ApacheFlink

上一页 1 ... 2 3 4 5 6 ... 66 下一页
66
GO