已有4人关注此标签
通过Spark SQL实时归档SLS数据
作者: 鱼跟猫
851人浏览
我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天，我再举例说明一下如何使用Spark SQL进行流式应用的开发。
基于Spark SQL实现对HDFS操作的实时监控报警
作者: 鱼跟猫
676人浏览
E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装，方便用户使用SQL语言进行Spark流式分析开发。
Impala——2.架构
作者: 尊渊
347人浏览
标签（空格分隔）： Impala Impala Server的组件 Impala服务器是分布式，大规模并行处理（MPP）数据库引擎。它由不同的在群集中的特定主机上运行的守护程序进程组成。 Impala守护进程 核心Impala组件是一个守护进程，它通过impalad进程在集群的每个DataNode上运行。
大数据平台解决方案，Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计
作者: sdydata
255人浏览
HDFS：分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用，大规模的波若大数据平台（BR-odp）用户部署上1000台的HDFS集群。
Impala——1.概述
作者: 尊渊
205人浏览
标签（空格分隔）： Impala Impala是什么 官方论文 Impala对存储在HDFS，HBase的Apache Hadoop数据和存储在Amazon S3上的数据提供快速，交互式的SQL查询。
大数据分享：Hbase精解
作者: 好程序员
390人浏览
大数据培训技术分享：Hbase精解，为什么有hbase?hbase是什么?Hbase的架构。 一、 为什么有hbase? 数据量越来越大，传统的关系型数据库不能满足存储和查询的需求。而hive虽然能满足存储的要求，但是hive不能满足非结构化、半结构化数据的存储和查询。
大数据入门干货
作者: 好程序员
299人浏览
首先，提及大数据一词的概念。大数据本质还在于数据，但是它有着新的特征亮点。包括：数据来源广，数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等等。
【从入门到放弃-Hadoop】Hadoop基础学习
作者: aloof_
1568人浏览
前言 目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解 基础概念 大数据的本质 一、数据的存储：分布式文件系统（分布式存储）二、数据的计算：分部署计算 基础知识 学习大数据需要具备Java知识基础及L.
解析-hadoop五大节点
作者: 好程序员
234人浏览
1.NameNode(管理节点) Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata)，元数据包括编辑日志(edits)和镜像文件。
开源-开源公司-Apache
作者: 武耀文
367人浏览
Apache开源软件一览： 1.Hadoop Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。
