Cloudera:智能大数据分析搞定各种复杂应用

简介:

在云上,最常见的有两种工作状态,一种是上移和转移,就是把以前的工作负载从私有的平台转到云上;另外一种是Cloudera在云上生态的工作负载,在这上面有很多客户大规模的部署。Cloudera在云平台、软件及硬件方面都有很好的生态圈。Cloudera云计算工程副总裁Vikram Makhija在接受本站记者采访时这样表示。

Cloudera用技术解放用户

Cloudera在Hadoop和Spark上居于领先地位,其一直专注于开源软件的商业化应用。谈到优势,Vikram Makhija认为:云提供商自己是不去开发Hadoop产品的,它只是选一个Hadoop版本来用,基本上他们都会提供一个全级给客户,这时候客户需要自己在实施当中去考虑高可用性和安全性两个方面,需要自己去部署。

Cloudera其实是针对客户,帮助客户做到这一点,来提供类似于安全、高可用性、复制,这些企业级的特性。这些如果是客户自己要做的话,其实是要占用很多的工作量。Cloudera在自己的一个平台上面,就可以做到统一的数据的管控,能够做到部署。

相对于友商,Cloudera在云上管理的工具比他们更加的完善,类似于Cloudera Director这样的部署,Cloudera都可以提供比他们更有竞争能力的管控工具,能够帮助企业客户去部署自己的大数据平台。

智能大数据分析搞定各种复杂应用

在大数据的应用与分析方面,Cloudera同样有很多应用案例。Vikram Makhija介绍道,英特尔在制造芯片检查方面,就是依靠Cloudera的平台来实现。数据是从当时的环境生产设备上面复制之后,通过加工和处理很快得到分析结果。在国内,Cloudera也有类似的应用,比如台湾和大陆芯片制造厂商都在用Cloudera的方案去部署生产线上芯片质量的管理。

另外,车联网方面也有非常重要的应用案例。国内有很多企业在制造新车,新车上市之前是要有测试车在路面上去跑,每天把数据拿出来分析。在过去没有大数据之前,有几台车在街上跑,几分钟就会产生很多数据。每天回来有几十G、上百G的数据拿来分析。

客户之前运用传统数据库来做分析,但感觉成本非常高,因为几台车产生上百G数据,几天下来系统就支撑不住了。后来他就采取Cloudera的方案,用Cloudera提供的大数据平台,每天把从车上拿来的数据去分析,原来是一分钟取一次,现在按秒级来取,每天就不是以G为单位,而是以TB为单位。每天汽车实时车况形成一个分析,用这种新型的方式成本降了很多,又可以做更全面的分析,用户非常满意。

此外,Cloudera也有很多“工具”能够帮助用户管理云资源,Director可以更方便地跨各种云环境部署和管理Cloudera Enterprise集群生命周期。客户可以选择用于AWS、谷歌云平台(Google Cloud Platform)和Microsoft Azure的模板,以快速完成配置、增大/缩小集群规模以及终止集群,客户还能够从一个统一的界面监控和管理所有集群。


本文作者:云中子

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
27天前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
24天前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
1月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
100 0
|
8天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
33 0
|
16天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
21天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
28天前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0