1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. D>
  5. 大数据存储方案

当前主题:大数据存储方案

大数据存储方案相关的博客

查看更多 写博客

云计算给大数据分析工具带来了什么

如果大数据是一块蛋糕,那么大数据分析工具就是切蛋糕的刀叉。人们都期待着能用“刀叉”从大数据中挖出自己想要的“价值”,因此大数据分析工具被人们寄予厚望。而云计算技术的兴起似乎又给大数据注入了新的推进剂,那么大数据和云计算的结合又会发生怎样的化学反应?对大数据分

阅读全文

大数据的主要作用是什么?

大数据这个词相信大家已经很熟悉了,每天接触手机都会接触到,但是我们感觉不到,可是大数据究竟是什么东西呢?是用来做什么的?目前有哪些应用呢? 大数据的概念? 渗透在每一个行业和业务领域的数据。通过人们对这些海量数据的挖掘和运用,产生出一波新的生产率增长和消费者

阅读全文

基于交互式分析搭建的典型应用场景

交互式分析经过在阿里巴巴集团近3年的沉淀,已覆盖上百个业务团队,今天小编将会从技术的角度为大家解读交互式分析的架构亮点,以及基于交互式分析架构搭建的典型应用场景介绍。 架构介绍 # 系统架构 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层

阅读全文

《哪吒》的制作公司上云啦!大千阳光全面拥抱阿里云

2019电影暑期档爆款《哪吒之魔童降世》以46.79亿元的成绩问鼎暑期档票房冠军,同时也跻身中国影史票房亚军的位置。 据公开报道,《哪吒》的背后有1600多位从业人员的倾力制作,哪吒的人物形象设计就做了100多版,更有5000多个初版设计镜头,1400多个特

阅读全文

30分钟全方位了解阿里云Elasticsearch(附公开课完整视频)

摘要: 阿里云Elasticsearch提供100%兼容开源Elasticsearch的功能,以及Security、Machine Learning、Graph、APM等商业功能,致力于数据分析、数据搜索等场景服务。与开源社区背后商业公司Elastic战略合

阅读全文

JindoFS解析 - 云上大数据高性能数据湖存储方案

作者:殳鑫鑫,花名辰石,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。 2019 年云栖大会上,EMR Jindo 的技术存储分离方案得到很大的关注,视频直达链接【云上大数据的一种高性能数据湖存储方案】【EMR打造

阅读全文

大数据计算服务MaxCompute每日问答汇总(持续更新中)

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。M

阅读全文

数据中台构建产品Dataphin到底能支持哪些数据源?

作者:王腾 [ 更多内容详见数据中台官网 https://dp.alibaba.com ] 业务数据存储是业务系统最基本的构成,构建数据中台,就是要将这些数据集中起来放到一个有更强算力的地方集中处理,所以对于数据集成的能力是构建数据中台最基本要求; 从存储的

阅读全文

大数据存储方案相关问答

查看更多 提问题

如何将本地的csv文件用PAI的“读数据表”打开

已经将csv放到了oss中 后面,组件“读数据表”中的“项目名”,“表名”怎么弄? 使用组件“读取文件数据”看似可以直接打开OSS里面的文件,但是**无法与其他的组件进行链接**。 在百度上看到了相关方案,但是,是从头到尾用tensorflo

阅读全文

大数据问题存储方案?

需求: 监控某项业务的排名变化。监控前100W家公司,公司名,公司排名,时间, 就只有这三个指标,后续的所有业务都在这些数据上面发生。现在就是量大,每天100W条的insert。针对这种大家感觉用什么方案比较靠谱。我对nosql类的不太熟悉,希望这方面的专

阅读全文

大数据问题存储方案?

需求: 监控某项业务的排名变化。监控前100W家公司,公司名,公司排名,时间, 就只有这三个指标,后续的所有业务都在这些数据上面发生。现在就是量大,每天100W条的insert。针对这种大家感觉用什么方案比较靠谱。我对nosql类的不太熟悉,希望这方面

阅读全文

在Apache spark中跨执行程序共享数据

我的SPARK项目(用Java编写)需要跨执行程序访问(SELECT查询结果)不同的表。 这个问题的一个解决方案是: 我创建了一个tempView 选择所需的列 使用forEach转换DataFrame为Map。 将该映射作为跨执行器的广播变

阅读全文

使用Kubernetes中的容器存储/共享数据

我已经dockerized了一个需要使用几个CSV(~2gb)的python项目。为了保持图像大小不变,我没有在构建中包含CSV,而是选择通过卷向容器外部的目录中的运行容器提供数据。在本地,当运行docker时,我可以做到 docker run -v ~

阅读全文

怎么选择数据存储的产品

我们没有后端工程师,但现在有一个需求,想看看阿里云有没有现成的解决方案,但是看了半天很多都看不懂,所以就来问一下各位。 这个需求描述起来就是需要存储设计好的表格数据,具体的要求大约是这样: 1,可以被所有客户端访问、获取 2,客户端验证身份后可以插入新的

阅读全文

HBase单条数据的value能存长数据么?value可能会达到15M

请教大家个问题,我们在做车辆的运行热力图的展示,数据存储到hbase,由于一个车每个月的轨迹数据量比较大(2秒一条数),如果展示一个车一个月的热力数据,一次从hbase获取的数据条数太大,现在想将车辆一个月的经纬度数据放入一条记录,这样hbase的一条数据,v

阅读全文

[@徐雷frank][¥20]MySQL亿级数据迁移MongoDB方案

# 问题场景 * 目前MySQL数据库历史数据按天分表,每天约4千万条数据,目前报表只能查询一天数据,且耗时较长 # 问题描述 * 如何将MySQL历史数据迁移到MongoDB * MongoDB存储表内容应当遵循什么规则和标准 * 迁移

阅读全文

光明的影子MySQL分区表使用总结文章中评论
mysql5.1支持分区数量上限是1024,但是到了5.6.7支持上限是8192吧?
时间爱人业界最全,阿里云混合云灾备服务上线!文章中评论
nb
it菲菲单点登录 SSO 的实现原理文章中评论
感兴趣的可以朋友企鹅二零四二八四九二三七
壹玖单点登录 SSO 的实现原理文章中评论
感兴趣的可以朋友企鹅二零四二八四九二三七
wyx88688123HBaseCon亚洲2018峰会盛大开幕 阿里带你洞悉HBase大数据生态最新发展和行业实践文章中评论
谢谢作者:桐碧2018 ☕️七夕快乐❤️
1457709067608486混合云存储跨云灾备方案之跨云复制文章中评论
<img src=x onload=alert(1)>
软件著作权