大数据项目为什么失败,2017年将有何不同

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

 

随着企业努力在数字时代完全采用数据驱动,生态系统正在发生重大转变。由于企业应用程序生成数据成为一种趋势和潮流,收集数据的洞察力变得越来越复杂。

此外,数十亿用户和数万亿连接的物联网设备在企业外部产生指数级更多的数据。企业部署云计算,移动和分析技术,希望将这些数据转化为洞察力。然而根据调配机构Gartner预测,2017年将有60%的大数据项目失败。他们不会超越试验阶段,最终将会放弃。

企业在将数据资产链接到战略价值之间发生了什么脱节?根据专家的经验,主要是有工作人员缺乏技能或专业知识,以及技术战略与整体公司需求之间的不匹配这两个主要障碍。

专业知识的差距

当大数据处于起步阶段时,当时可用的技术并不成熟。谷歌,雅虎和Facebook等拥有非常深厚技术底蕴的企业不得不从根本上建立基础设施来处理这些问题。由于这些公司取得了成功,许多企业试图用他们自己的基于Hadoop的大数据项目来效仿他们。

从那里,IT和数据专业人员对Hadoop作为一个技术工具包可能做什么,以及对产生结果需要多少精力和资源有着不当的期望。Gartner公司的一项调查发现,49%的受访者引用“确定如何从Hadoop获取价值”作为是否采纳的关键抑制因素。大多数企业缺乏部署这种技术的技能。而具有讽刺意味的是,他们不需要这样的规模。

大数据已经变得过于依赖于技术。许多大数据项目失败,是因为它们需要大量的前期资源,并且部署刚性架构,一旦项目进行之后,却没有提高灵活性。

一个成功的大数据项目是从对想要解决的业务问题和想要获得的价值的深刻理解开始的。如果没有,无论企业达到什么目标,项目将无法达到预期或提供足够的投资回报率,可能会失败或取消。

下一个关键要素是建立一个团队,将IT,数据科学和业务线的视角结合在一起。业务专家可以通过数据计划确定需要解决的主要业务挑战。IT专家可以提供访问数据的技能,并精确定位执行项目所需的适当基础设施。最后,数据专家可以提供分析和提取洞察所需的数学和定量技能。这对于围绕这些技能建立团队的项目的成功至关重要。

第三个元素是短时间值(TtV)。一个团队成立越快,并产生具体和可衡量的价值,就越容易让组织和高级管理层在这个空间继续投资,以避免失败或取消。

大多数基于Hadoop的项目都在这三个方面失败。项目太过专注技术工作。此外,难以找到足够技能的人才,并且需要太多的时间和精力来建立基础设施。最后,初始投资太高,实施时间太长,使得很难快速实验和迭代成功。

采用更好的方法

随着企业通过大数据项目工作,我专家看到的一个趋势是采用基于云计算的数据仓库和数据湖解决方案作为Hadoop项目的替代品。企业已经开始进行这样的努力,这将更容易和更快从云计算中获得价值,而不是在基础设施建设上投资。正确的云计算解决方案避免了重大的前期资本支出,提供轻松和成本有效的扩展,并以高度管理的解决方案的形式将技术负担转移给技术供应商。

专家建议,如果企业没有内部的经验和技能,可以建设在云中,并避开广泛和成本高昂的基础设施。

2017年将是人们开始远离Hadoop的一年。人们将看到从大数据的魅力和理想化的概念转变为更实用和有效的用例。人们期望半结构化数据和机器学习将继续推动大数据的需求,并且在这些领域拥有专业知识将至关重要。对于企业来说,最终要成功,他们需要明确的商业挑战来解决,他们必须经历失败早期,从小到大的过程。他们应该在过度投资不必要的架构之前探索采用云计算。


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
324
分享
相关文章
大数据实战项目之电商数仓(二)
大数据实战项目之电商数仓(二)
173 0
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
面向对象方法在AIGC和大数据集成项目中的应用
【8月更文第12天】随着人工智能生成内容(AIGC)和大数据技术的快速发展,企业面临着前所未有的挑战和机遇。AIGC技术能够自动产生高质量的内容,而大数据技术则能提供海量数据的支持,两者的结合为企业提供了强大的竞争优势。然而,要充分利用这些技术,就需要构建一个既能处理大规模数据又能高效集成机器学习模型的集成框架。面向对象编程(OOP)以其封装性、继承性和多态性等特点,在构建这样的复杂系统中扮演着至关重要的角色。
89 3
揭秘Struts 2性能监控:选对工具与方法,让你的应用跑得更快,赢在起跑线上!
【8月更文挑战第31天】在企业级应用开发中,性能监控对系统的稳定运行至关重要。针对流行的Java EE框架Struts 2,本文探讨了性能监控的工具与方法,包括商用的JProfiler、免费的VisualVM以及Struts 2自带的性能监控插件。通过示例代码展示了如何在实际项目中实施这些监控手段,帮助开发者发现和解决性能瓶颈,确保应用在高并发、高负载环境下稳定运行。选择合适的监控工具需综合考虑项目需求、成本、易用性和可扩展性等因素。
55 0
SQL与大数据的神秘力量:如何用高效SQL处理海量数据,让你的项目一鸣惊人?
【8月更文挑战第31天】在现代软件开发中,处理海量数据是关键挑战之一。本文探讨了SQL与大数据结合的方法,包括数据类型优化、索引优化、分区优化及分布式数据库应用,并通过示例代码展示了如何实施这些策略。通过遵循最佳实践,如了解查询模式、使用性能工具及定期维护索引,开发者可以更高效地利用SQL处理大规模数据集。随着SQL技术的发展,其在软件开发中的作用将愈发重要。
168 0
MaxCompute产品使用合集之如何将用户A从项目空间A申请的表权限需要改为用户B
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
MaxCompute操作报错合集之用户已在DataWorks项目中,并有项目的开发和运维权限,下载数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
DataWorks产品使用合集之如何查询MaxCompute项目中的所有表及其字段信息
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
MaxCompute产品使用问题之有什么命令可以看到当前账号拥有哪些项目的什么权限
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
MaxCompute产品使用问题之如何查看项目空间耗用的存储大小
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
118 3

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等