1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. 海量数据统计

当前主题:海量数据统计

海量数据统计相关的博客

查看更多 写博客

带你读《企业数据湖》之三:Lambda架构:一种数据湖实现模式

第3章Lambda架构:一种数据湖实现模式 在前一章中介绍数据湖的一系列概念时,粗略地提到了Lambda架构。在本章中,我们将介绍Lambda架构的一些细节,并解释该架构模式在本书的数据湖实现方案中的重要意义。 本章虽然会尽量涵盖Lambda架构范式的全部细

阅读全文

5分钟迅速搭建云上Lambda大数据分析架构

背景 Spark 中国社区联合阿里云 EMR 技术交流群,Tablestore 技术交流群举办了一场联合技术直播。直播的话题是“海量结构化数据的实时计算和处理”,主要介绍基于 Tablestore 的数据变更实时捕获订阅能力,实现云上Lambda 架构的轻量

阅读全文

基于交互式分析搭建的典型应用场景

交互式分析经过在阿里巴巴集团近3年的沉淀,已覆盖上百个业务团队,今天小编将会从技术的角度为大家解读交互式分析的架构亮点,以及基于交互式分析架构搭建的典型应用场景介绍。 架构介绍 # 系统架构 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层

阅读全文

黑客攻击武器“升级换代”,防御方有哪些“应知应会”?

近年来随着社会信息化不断推进、互联网行业持续发展,网络上的黑客行为、黑灰产业等成为行业问题和痛点。在网络这个“没有硝烟的战场”上,攻与防的交战从未停止。 而随着“上云”成为大多数政企单位的选择,网络黑产、犯罪团伙也将目光投向了云上海量的信息和计算资源。但云上

阅读全文

一篇文章玩转阿里云日志服务查询分析控制台

前言 服务器,操作系统,应用程序会产生日志,每个独立的系统内部都会有一套日志系统,依靠这些日志才能在系统出现问题的时候进行排查修复,如何去利用好日志就成为了业务飞速发展道路上的一道难题。阿里云日志服务在提供一站式接入服务的同时,还具备强大的日志查询功能,下面

阅读全文

【2019 云栖大会】对象存储海量数据管理和应用最佳实践

导语 今年参加了 2019 云栖大会 下一代云存储技术与最佳实践专场,分享了 “**对象存储海量数据管理和应用最佳实践**” 议题,重点介绍对象存储 OSS 的架构原理、数据管理、最佳实践,现整理相关内容和大家探讨。 一、企业数据存储的挑战和需求 数据是企业

阅读全文

息息相关的两大体系:数据中台与业务系统

作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ] 数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。 数据中台的BI呈现 数据中台是以OneMode

阅读全文

OpenSearch最新功能介绍

摘要:阿里云开放搜索(OpenSearch)是一款结构化数据搜索托管服务,其能够提供简单、高效、稳定、低成本和可扩展的搜索解决方案。OpenSearch以平台服务化的形式,将专业搜索技术简单化、低门槛化和低成本化,让搜索引擎技术不再成为客户的业务瓶颈,以低成

阅读全文

海量数据统计相关问答

提问题

请教一个关于海量数据的大文件统计问题

有一个大文件 20多G 里面一行一行的(csv格式,逗号隔开的那种)都是订单信息 主要的有用户id 商户id 还有就是订单id 需要求出的就是求出“每个商户”“每天的累计支付用户”和“每天的新增支付用户数” PS: 最好能贴出代码, 最好可以用C或C++

阅读全文

MaxCompute百问集锦(持续更新20171011)

![fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg](https://yqfile.alicdn.com/ee78085f2e6a147c3fffcc95038b11a73c609bf1.jpeg) 大数据计算服务

阅读全文