1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. 海量数据采集

当前主题:海量数据采集

海量数据采集相关的博客

查看更多 写博客

带你读《企业数据湖》之二:数据湖概念概览

第2章数据湖概念概览 数据湖概念的诞生,源自企业面临的一些挑战,如数据应该以何种方式处理和存储。最开始,企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。最开始的时候,每个应用程序会产生、存储大量数据,而这些数据并不能被其他应用程序使用,这种状况

阅读全文

大数据的主要作用是什么?

大数据这个词相信大家已经很熟悉了,每天接触手机都会接触到,但是我们感觉不到,可是大数据究竟是什么东西呢?是用来做什么的?目前有哪些应用呢? 大数据的概念? 渗透在每一个行业和业务领域的数据。通过人们对这些海量数据的挖掘和运用,产生出一波新的生产率增长和消费者

阅读全文

基于交互式分析搭建的典型应用场景

交互式分析经过在阿里巴巴集团近3年的沉淀,已覆盖上百个业务团队,今天小编将会从技术的角度为大家解读交互式分析的架构亮点,以及基于交互式分析架构搭建的典型应用场景介绍。 架构介绍 # 系统架构 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层

阅读全文

云栖干货回顾 | 行业顶级NoSQL成员坐阵,NoSQL数据库专场重点解析!

NoSQL数据库作为数据库市场最重要的组成之一,它的一举一动都影响着成千上万的企业。本专场邀请了行业顶级的NoSQL核心成员与大家共同展望NoSQL数据库的未来,**阿里巴巴、MongoDB、Redisson、斗鱼等**公司的技术大咖与大家共同分享了阿里云N

阅读全文

云栖PPT下载 | 破解企业数据库“疑难杂症”,最佳实践专场划重点了!

数据库是整个企业数据最核心的承载载体,在线上使用过程中,用户经常会遇到以下问题:**如何保障业务连续性、数据库研发效率低、数据库存在性能瓶颈及数据存在安全风险等等。** 本次的企业级数据库专场中,我们邀请到了数位阿里巴巴资深专家及高级专家为大家分享阿里巴巴的

阅读全文

一篇文章玩转阿里云日志服务查询分析控制台

前言 服务器,操作系统,应用程序会产生日志,每个独立的系统内部都会有一套日志系统,依靠这些日志才能在系统出现问题的时候进行排查修复,如何去利用好日志就成为了业务飞速发展道路上的一道难题。阿里云日志服务在提供一站式接入服务的同时,还具备强大的日志查询功能,下面

阅读全文

息息相关的两大体系:数据中台与业务系统

作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ] 数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。 数据中台的BI呈现 数据中台是以OneMode

阅读全文

OpenSearch最新功能介绍

摘要:阿里云开放搜索(OpenSearch)是一款结构化数据搜索托管服务,其能够提供简单、高效、稳定、低成本和可扩展的搜索解决方案。OpenSearch以平台服务化的形式,将专业搜索技术简单化、低门槛化和低成本化,让搜索引擎技术不再成为客户的业务瓶颈,以低成

阅读全文

海量数据采集相关问答

提问题

OTS表格存储适用于爬虫采集大数据的存储查询吗?又如何购买OTS表格存储?

您好,我目前在用分布式爬虫爬取海量数据,数据约100亿条,目前是sql server做存储,数据量太大了,sql server优化实在很累,不经常优化,查询数据时很慢,我想问一下表格存储适用存储并且查询海量数据吗? 我爬取的数据就以下6个字段: 网站关键词

阅读全文

MaxCompute百问集锦(持续更新20171011)

![fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg](https://yqfile.alicdn.com/ee78085f2e6a147c3fffcc95038b11a73c609bf1.jpeg) 大数据计算服务

阅读全文

MaxCompute百问集锦

![750_250](https://yqfile.alicdn.com/fd7e5655f16e03d1198dc492cead625bbfb9af58.jpeg) 大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/T

阅读全文