1. 云栖社区>
  2. 全部标签>
  3. #hdfs#
hdfs

#hdfs#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 |

2017年大数据领域,这7大技术将退役!

文章讲的是2017年大数据领域,这7大技术将退役,我们已经在大数据领域进行了很长时间的探险了,虽然大数据已经不再让人眼前一亮和感到新鲜,但技术的不断更新足以让你时刻关注这个领域。同时,这也是很多企业技术更新最快的领域,但还是有一些技术会长期占据靠前的位置,直到有更好的替代品出现为止。

编程语言 python 大数据 算法 java storm hdfs 性能 高可用 数据仓库 内存管理 spark 分布式文件系统 Hive 分布式数据库

Oracle预测:2017年大数据的10大可能

文章讲的是Oracle预测:2017年大数据的10大可能,2017年已经到来,大数据在飞速成长。无论是物联网还是云计算方面,企业技术都在上升,促进了市场的巨大变革。许多公司正在接受将大数据作为这个时代的竞争优势。

深度学习 大数据 服务器 hdfs hadoop Oracle 网络性能 数据迁移 对象存储 物联网 分布式文件系统 企业应用 大数据分析

企业出现频率最高的问题,你中招了吗?

文章讲的是企业出现频率最高的问题,你中招了吗,每家企业的成长都历经磨练,踩过很多坑,走过很多弯路,在摸爬滚打中总结经验,战战兢兢地前进。在DTCC大会即将召开之际,笔者有幸采访到了一位云端数据仓库领域的创业者——简丽荣,凭借着在行业内的多年打拼和为企业提供数据技术服务的经验,他提出了企业大数据分析方面出现频率最高的三大类问题,你中招了吗? ▲酷克数据 简丽荣   简丽荣,HashData(一家专注于云端数据仓库的初创公司)的联合创始人兼CEO,开源分布式分析型数据库Apache HAWQ的创始committer和Greenplum Database的contributor。

分布式 大数据 安全 hdfs 加密 公有云 高可用 数据库 数据仓库 云数据库 对象存储 分布式计算 分析型数据库 云服务 分布式文件系统

《Spark与Hadoop大数据分析》——3.7 小结

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章,第3.7节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

hdfs hadoop 性能 配置 集群 spark DataFrame 编程 资源共享 大数据分析

《Spark与Hadoop大数据分析》——3.2 学习Spark的核心概念

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章,第3.2节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

python hdfs hadoop 函数 HTTPS shell 配置 集群 Image spark scala 日志分析 大数据分析

《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述

本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章,第2.1节,作者 [美]文卡特·安卡姆(Venkat Ankam),译 吴今朝,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

大数据 监控 hdfs hadoop HTTPS Apache 集群 容器 Image spark 应用管理 数据节点 分布式文件系统 Mapreduce 大数据分析

六点解读Hadoop版本和生态圈

1. Hadoop版本 (1) Apache Hadoop版本介绍 Apache的开源项目开发流程: 主干分支:新功能都是在主干分支(trunk)上开发。 特性独有分支:很多新特性稳定性很差,或者不完善,在这些分支的独有特定很完善之后,该分支就会并入主干分支。

分布式 hdfs hadoop 函数 c++ Apache 数据流 reduce 集群 负载均衡 分布式文件系统 Mapreduce 存储 海量数据

Hadoop集群环境下网络架构的设计与优化

大数据时代,研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构、优化业务逻辑、优化数据分析算法、优化节点性能等方向,而忽略了大数据环境基础设置中网络环节的评估和优化。本文介绍了思科公司在Hadoop 集群环境下的网络架构设计与优化经验。

云栖社区 大数据 架构 算法 服务器 hdfs hadoop 性能 软件架构 集群 排序 Mapreduce 路由器

E-MapReduce的HBase集群间迁移

E-MapReduce提供HBase服务,本文介绍了几种HBase集群间迁移的方法

OSS hbase hdfs hadoop Apache path 集群 数据迁移 迁移 e-mapreduce Driver Create Mapreduce

HBase问题诊断 – RegionServer宕机

本来静谧的晚上,吃着葡萄干看着球赛,何等惬意。可偏偏一条报警短信如闪电一般打破了夜晚的宁静,线上集群一台RS宕了!于是倏地从床上坐起来,看了看监控,瞬间惊呆了:单台机器的读写吞吐量竟然达到了5w ops/sec!RS宕机是因为这么大的写入量造成的?如果真是这样,它是怎么造成的?如果不是这样,那又是什么原因?各种疑问瞬间从脑子里一一闪过,甭管那么多,先把日志备份一份,再把RS拉起来。

java 监控 hbase hdfs hadoop 日志 线程 Apache 源码 Server read

HBase最佳实践-读性能优化策略

任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。

性能优化 hbase hdfs 性能 配置 集群 node bloomfilter

Facebook下一代数据存储只宕机5分钟

自2010年将SMS、chat、email及Facebook Messages整合到1个收件箱后,我们就开始使用HBase。自此之后,社交巨头Facebook就一直扩展这个基于HDFS的分布式键值存储系统以满足自己的业务需求。

云栖社区 服务器 hbase hdfs 高可用 数据仓库 集群 Server 数据中心 facebook 磁盘 存储 数据存储 流数据 在线分析

实时计算 流数据处理系统简单分析

一. 实时计算的概念 实时计算一般都是针对海量数据进行的,一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。 主要应用的场景: 1) 数据源是实时的不间断的,要求用户的响应时间也是实时的(比如对于大型网站的流式数据:网站的访问PV/UV、用户访问了什么内容、搜索了什么内容等,实时的数据计算和分析可以动态实时地刷新用户访问数据,展示网站实时流量的变化情况,分析每天各小时的流量和用户分布情况) 2) 数据量大且无法或没必要预算,但要求对用户的响应时间是实时的。

分布式 架构 storm hbase hdfs 日志 线程 数据库 metaq 淘宝 分布式文件系统 分布式存储 facebook 日志分析 流数据

青云QingCloud推出HBase集群服务 支持SQL等高级功能

为了更好地满足用户对大数据基础平台的需求,企业级基础云服务商青云QingCloud(qingcloud.com)日前宣布正式推出HBase集群服务,包含HBase数据库服务、HDFS分布式文件系统、Phoenix查询引擎三大组件。

云栖社区 大数据 架构 监控 hbase hdfs SQL 数据库 配置 集群 控制台 API 对象存储 索引 云服务

Hadoop集群遭遇勒索软件攻击 据称中国有8300多个Hadoop集群暴露在互联网上

继上周绿盟科技发布 ElasticSearch专项报告 以来,又监测到勒索软件正在攻击Hadoop集群,这再次表明黑客正在尝试从“大数据”中获利,绿盟科技给出的建议是关闭端口、启用安全认证机制、使用WVSS Web应用漏洞扫描等方式进行安全扫描。

云栖社区 分布式 大数据 安全 MongoDB 服务器 hdfs hadoop 数据库 集群 分布式计算 身份认证 分布式文件系统 Elasticsearch

云计算、Amazon EC2、Hadoop简介

近来云计算越来越热门了,云计算已经被看作 IT 业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以通过 Internet 访问 “云” 中的任何资源,而不需要担心计算能力、带宽、存储、安全性和可靠性等问题。   先要介绍一下云计算系统的结构。图 1 显示云计算的各个层以及现有的一些服务。   图 1. 云计算的层和现有服务       

分布式 hdfs hadoop Apache 软件架构 基础设施 集群 PaaS IaaS 主机 虚拟主机 分布式计算 google 分布式存储 带宽

Hadoop分布式文件系统和OpenStack对象存储有何不同

最近在Quora上有人提到一个问题,有关Hadoop分布式文件系统和OpenStack对象存储的不同。            问题原文如下:“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的:实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”问

架构 hdfs hadoop OpenStack 对象存储 分布式文件系统 swift Mapreduce 存储

云计算-Hadoop两小时快速入门指南-第一部分

买了一本书《Hadoop权威指南》第二版,书写的真不错,就是思维跳跃性太大,看了没两章,是前后狂翻(没办法,他一说就是看附录A安装Hadoop,看附录C准备NCDC天气数据) 附录A需要研究一下,根据自己的需求确定下来,学习阶段也就本地模式就够了,不要玩什么集群模式,浪费感情,浪费计算机资源。具体过程上网搜搜吧,好多人写,不过你需要的就是最基本的模式,只要安装Java、解压缩Hadoop,配置

hdfs hadoop reduce 测试 test demo input

Hadoop大数据平台提权漏洞CVE-2017-7669 2.8 3.0alpha1 3.0alpha2均受影响

之前,安全加报道过 Hadoop集群遭遇勒索软件攻击,据称中国有8300多个Hadoop集群暴露在互联网上 。6月2日,Allen Wittenauer提报了Apache Hadoop 提权漏洞CVE-2017-7669,seclists将其标识为关键漏洞等级,漏洞影响Apache Hadoop 2.8.0, Hadoop 3.0.0-alpha1及 Hadoop 3.0.0-alpha2 Hadoop提权漏洞描述 在linuxcontainerexecutor使用root权限运行docker,对于输入验证不足。

云栖社区 分布式 大数据 安全 docker hdfs hadoop Apache 集群 分布式计算 分布式文件系统 分布式系统 Mapreduce 海量数据

青云QingCloud推出HBase集群服务 支持SQL等高级功能

ZD至顶网服务器频道 08月22日 新闻消息: 为了更好地满足用户对大数据基础平台的需求,企业级基础云服务商青云QingCloud(qingcloud.com)日前宣布正式推出HBase集群服务,包含HBase数据库服务、HDFS分布式文件系统、Phoenix查询引擎三大组件。

云栖社区 大数据 监控 hbase hdfs SQL 数据库 配置 集群 控制台 API 对象存储 索引 云服务 分布式文件系统

20
GO