1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. hive 数据存储

当前主题:hive 数据存储

hive 数据存储相关的博客

查看更多 写博客

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ 作者:余根茂,阿里巴巴计算平台事业部EMR团队的技术专家,参与了Had

阅读全文

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用

阅读全文

回顾 | Apache Flink Meetup ·上海站(附PPT下载链接)

9 月 7 日,Apache Flink Meetup 上海站,上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、Ten

阅读全文

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。 1.背景介绍 在 2015 年初,为了能够采集到用户在 PC,APP 等平

阅读全文

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分

阅读全文

HIVE优化浅谈

HIVE优化浅谈 作者:邓力,entobit技术总监,八年大数据从业经历,由一代HADOOP入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。 引言 随着商务/运营同学执行的HQL越来

阅读全文

Apache Flink 1.9.0版本新功能介绍

摘要:Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。目前,Apache Flink 1.9.0版本已经正式发布,该版本有什么样的里程碑意义,又具有哪

阅读全文

如果你也想做实时数仓…

作者:郭华(付空) 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细

阅读全文

hive 数据存储相关问答

查看更多 提问题

Zeppelin 使用Spark sql 执行show databases 只显示default 数据库, 查询不到hive数据库

版本HDP3.0 Spark2.0 ,感觉Spark 数据存储和Hive数据存储不是同一个地方, 也尝试过讲hive/conf/hive-site.xml复制到spark2/conf/ 以及 zeepelin/conf/ 并重启服务,还是查询不到hive下

阅读全文

【精品问答合集】Hbase热门问答

hbase 大量写入很慢 https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了 https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问 htt

阅读全文

当数据存储在对象存储中时,从Spark SQL访问Hive表

我使用spark数据帧编写器在IBM Cloud Object Storage中以parquet 格式在内部hive表中编写数据。所以,我的hive Metastore在HDP集群中,我从HDP集群运行spark作业。此spark作业将数据以parquet 格

阅读全文

blink中hive维表的支持,并支持定时的load外部数据

业务中维表主要存储在Hive中,维表的支持要实现lookuptablefunction,但是blink本身的hivetablesource并没有实现该接口,且不支持定时Load数据,请问自己要怎么实现

阅读全文

如何为Spark SQL设置元数据数据库?

Hive可以拥有其元数据并在那里存储表,列,分区信息。如果我不想使用hive.Can我们创建一个与hive相同的spark元数据。我想查询spark SQL(不使用数据帧),如Hive(select,from和where)我们可以这样做吗?如果是,我们可以将哪

阅读全文

[@小川游鱼][¥20]hive 或者 presto 有没有类似于mybatis 能把表给结构化 并把sql语句提取出来的框架

现在我们的产品,通过presto 查询hive;ElasticSearch;mysql里面的数据,并且这些不同存储的会通过presto进行关联查询, 但是我们的业务比较复杂,sql比较长 是直接写在java里面的 这样维护难度很大 有没有类似于mybatis

阅读全文

Spark 2.0+即使数据帧被缓存,如果其中一个源更改,它会重新计算?

这是我的用例。 有多个源df1到df4,df3代表现有的hive表 从df1到df4构建一个df5 将df5插入/追加到现有的配置单元表中。 将df5保存到其他地方。 问题是第4步没有任何保存到现场。这是否意味着在第3步之后,df3会改变吗?我已

阅读全文

hive 有没有办法实现一行 按照 某两列的数值 拆分成多行的方法?

比如一行数据如下: |start|end|name| | --- | --- | |1|5|one| |6|7|two| <br/> 处理完的数据长这样: |point|start|end|name| | --- | --- | |1|1|5

阅读全文