1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. D>
  5. 大数据分布式计算

当前主题:大数据分布式计算

大数据分布式计算相关的博客

大数据计算服务MaxCompute每日问答汇总(持续更新中)

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。M

阅读全文

分布式架构知识体系

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:**《**云原生时代,分布式系统设计必备知识图谱(内含22个知识点)**》** 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式

阅读全文

TPCx-BB官宣最新世界纪录,阿里巴巴计算力持续突破

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPC

阅读全文

分布式架构全方位立体无死角解析

随着移动互联网的发展智能终端的普及,计算机系统早就从单机独立工作过渡到多机器协作工作。计算机以集群的方式存在,按照分布式理论的指导构建出庞大复杂的应用服务,也已经深入人心。本文力求从分布式基础理论,架构设计模式,工程应用,部署运维,业界方案这几大方面,介绍基

阅读全文

云栖干货回顾 |“顶级玩家”集结!分布式数据库专场精华解读

本专场是阿里云分布式数据库的年度盛会,多位阿里云分布式数据库领域核心专家以及业界专家进行了专题演讲,内容涵盖分布式 POLARDB(DRDS)、AnalyticDB、OceanBase 多款云上核心分布式数据库产品,涉猎分布式 SQL 引擎、分布式存储引擎、

阅读全文

2019java开发面试问答合集(附答案)

10G整数文件中寻找中位数或者第K大数 采用基于字节的桶排序将数字分到不同的桶中,比如找到第k大数,则先找出每个桶中的第k大数,在比较。 整形是4byte,有32位,先按高八位建255个桶 如果内存只有2g,则每次读取2g的数据遍历放到255个桶中,并统计2

阅读全文

开发大数据的正确姿势--交互式分析

在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文整理自2019年云栖大会大数据技术专场交互式分析团队的精彩演讲,为您深度揭秘交互式分析的核心技术以及应用场景,打开开发大数据的正确姿势! 本文内容整理自云栖大会演

阅读全文

金融数据智能在蚂蚁金服的现状与发展

点击这里回顾9月27日上午开发者峰会精彩内容 蚂蚁金服在过去的十几年中用技术重塑金融服务,主要工作集中在金融级交易支付技术和金融级数据智能技术两个领域。 除了和传统大数据相同的需求之外,金融数据智能还有一些独特的需求: 实时性要求高:实时数据增长非常迅速,在

阅读全文

云计算学习从入门到实践(视频干货)

云计算是什么呢?从业相关者应该如何入门与学习云计算?企业又如何选择阿里云云产品来支持自己的业务形态?看行业大咖如何利用云产品来整合及优化自己的架构? 超过三十节课,数十位阿里专家倾情奉献,一一为您解答! 十节课,轻松入门云计算 课程简介:从分布式调度、存储、

阅读全文

JindoFS概述:云原生的大数据计算存储分离方案

作者:诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。 JindoFS概述:云原生的大数据计算存储分离方案 JindoFS 之前 在

阅读全文

【2019 云栖大会】对象存储海量数据管理和应用最佳实践

导语 今年参加了 2019 云栖大会 下一代云存储技术与最佳实践专场,分享了 “**对象存储海量数据管理和应用最佳实践**” 议题,重点介绍对象存储 OSS 的架构原理、数据管理、最佳实践,现整理相关内容和大家探讨。 一、企业数据存储的挑战和需求 数据是企业

阅读全文

Nebula Graph 技术总监陈恒:图数据库怎么和深度学习框架进行结合?

引子 Nebula Graph 的技术总监在 09.24 - 09.30 期间同开源中国·高手问答的小伙伴们以「图数据库的设计和实践」为切入点展开讨论,包括:「图数据库的存储设计」、「图数据库的计算设计」、「图数据库的架构设计」等方面内容,本文整理于他和开源

阅读全文

那些年,我们见过的 Java 服务端“问题”

导读 明代著名的心学集大成者王阳明先生在《传习录》中有云: 道无精粗,人之所见有精粗。如这一间房,人初进来,只见一个大规模如此。处久,便柱壁之类,一一看得明白。再久,如柱上有些文藻,细细都看出来。然只是一间房。 是的,知识理论哪有什么精粗之分,只是人的认识程

阅读全文

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事

阅读全文

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。 海量计算最开始的方案是提高

阅读全文

数据库OceanBase创始人阳振坤:通关TPC-C到底有多难? | 10月8号栖夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.数据库OceanBase创始人阳振坤:通关TPC-C到底有多难? 自从蚂蚁金服自研数据库OceanBase获得TPC-C测试第一名后,引起了行业内外大量关注,我们衷心的感谢大家对Ocea

阅读全文

结构化大数据分析平台设计

前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。大多数企业对内,对外有很多这样的

阅读全文

云原生时代|分布式系统设计知识图谱(内含22个知识点)

我们身处于一个充斥着分布式系统解决方案的计算机时代,无论是支付宝、微信这样顶级流量产品、还是区块链、IOT等热门概念、抑或如火如荼的容器生态技术如Kubernetes,其背后的技术架构核心都离不开分布式系统。 为什么要懂分布式架构 系统学习分布式架构设计对于

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

9月26日【New Developments in the Open Source Ecosystem: Apache Spark 3.0 and Koalas】 主讲人:李潇 Databricks Spark 研发总监,管理一跨国团队,专注于 Apache

阅读全文

阿里云应用上边缘云解决方案助力互联网All in Cloud

九月末的杭州因为一场云栖大会变得格外火热。 9月25日,吸引全球目光的2019杭州云栖大会如期开幕。20000平米的展区集结数百家企业,为数万名开发者带来了一场前沿科技的饕餮盛宴。 如同往年一样,位于C馆的阿里巴巴空间站无疑是最受瞩目的展区。展区中,阿里云飞

阅读全文

856