1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. hive sql

当前主题:hive sql

Dremio架构分析

一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司

阅读全文

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Pro

阅读全文

时序时空数据库新增TSQL语言:通过SQL即可让监控分析更简单更高效

1.前言 阿里时序时空数据库TSDB最新推出TSQL,支持标准SQL的语法和函数。用户使用熟悉的SQL,不仅仅查询更简单易用,用户还可以利用SQL强大的功能,实现更加复杂的计算分析。 2. 为什么需要用SQL做时序查询? 2.1 SQL拥有广泛用户基础 SQ

阅读全文

用Flink取代Spark Streaming!知乎实时数仓架构演进

作者 | 知乎数据工程团队 “数据智能” (Data Intelligence) 有一个必须且基础的环节,就是数据仓库的建设,同时,数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时

阅读全文

Dremio简述

一.简述 Dremio是一款DaaS(Data-as-a-Service)数据即服务平台,可对接多类数据源来进行BI分析;数据可视化依托于Tableau、Power BI和Qlik sense三类产品。 二.功能 a).Dremio支持的数据源 b).Dre

阅读全文

Superset对接Apache Druid数据源

一.简述 Apache Superset是一款由Airbnb开源的“现代化的企业级BI(商业智能)的Web应用程序”,其通过创建和分享Dashboard,为数据分析提供了轻量级的数据查询和可视化方案。 Apache Superset的前端主要使用Reat和N

阅读全文

大数据平台测试

阅读全文

SIGMOD 2019 现场直击!带给你最独家的 15 篇论文全解读

SIGMOD会议位列数据库方向的三大顶级会议之首(其次是VLDB及ICDE)。2019SIGMOD于6月30日至7月5日在荷兰阿姆斯特丹举办。本文由OceanBase团队为读者带来最权威、最前沿的大会独家报道。 SIGMOD是数据库方向的三大顶级会议之一(另

阅读全文

hive sql相关问答

查看更多 提问题

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

我在使用spark-thriftserver的方式,通过beeline执行sql的时候,thriftserver会扫描所查询hive表的所有分区(hdfs上面的路径)然后有多少个路径,就会自动生成多少个task,这个task的数量可以调整吗?或者这个流程怎么优

阅读全文

[@小川游鱼][¥20]我用hue执行hive SQL的时候 hbase报connectionException

我用hue 执行hivesql 的时候系统报错, java.net.SocketTimeoutException:callTimeout=60000, callDuration=68043: row 'log,,00000000000000' on tabl

阅读全文

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs? https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么? https://yq.aliyun.co

阅读全文

【精品问答合集】Hbase热门问答

hbase 大量写入很慢 https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了 https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问 htt

阅读全文

Kylin无法更新coprocessor

Kylin创建好cube后执行查询语句报错如下: ```org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.Unkno

阅读全文

在EMR类中找不到Spark-submit异常java

我有一个jar包捆绑创建一个弹簧启动应用程序,其中我创建spark会话来做一些操作。 然后我发送这个jar AWS EMR,要么运行的spark-submit或者java -jar未工作的可执行文件。 这是我的jar结构 jar -tf <jar

阅读全文

请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发。有没有什么办法可以调的啊

转自钉钉群21789141:请教个问题,blink在提交sql作业时,并发可以不同吗?比如,我想join两个hive表,但是两个表大小差很多,所以一个表的并发需要大一些,另外一个表的并发需要小一些,但是直接使用sql提交时,设置并发后,所有的节点都是一样的并发

阅读全文

Zeppelin 使用Spark sql 执行show databases 只显示default 数据库, 查询不到hive数据库

版本HDP3.0 Spark2.0 ,感觉Spark 数据存储和Hive数据存储不是同一个地方, 也尝试过讲hive/conf/hive-site.xml复制到spark2/conf/ 以及 zeepelin/conf/ 并重启服务,还是查询不到hive下

阅读全文

wyx88688123高性能Spark作业基础:你必须知道的调优原则及建议文章中评论
✌谢谢技术小能手☕️
1158417466605949浅谈HBase的数据分布文章中评论
对于爆发式增长的业务,本文阐述的水平扩展数据分布方法真的很赞,很有用,顶
1593732317424529浅谈HBase的数据分布文章中评论
写得很详细,很细致,赞~
楼远浅谈HBase的数据分布文章中评论
写的非常清晰,hbase初学者领教了
xx强调度、模型、同步与任务——阿里云大数据数仓建设性能优化方案文章中评论
map的倾斜,应该写的不是很对,map端倾斜,跟key的分布不均应该没有关系,因为map端又没有做汇总操作。map端的倾斜,有可能跟物理环境有关系,比如磁盘等。另外的话,map端倾斜,常见的例子是,map端做了复杂的操作,或者出现数据膨胀
squarezjzAlibaba Cloud Provider简介文章中评论
请问,能写一篇在阿里云上自搭的k8s,集成Alibaba Cloud Provider的教程吗?万分感谢