1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 数据存储工作

当前主题:数据存储工作

数据存储工作相关的博客

查看更多 写博客

探寻流式计算

一、静态数据和流数据 静态数据:为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。 流数据:以大量、快速、时变的流形式持续到达的数据。(例如:实时产生的日志、用户实时交易信息) 流数据具有以下特点: (1)、数据快速持续到达,潜在大小

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

8月28日【Spark Streaming SQL流式处理简介】 主讲人:云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor,开源爱好者 简介:本次直播将简要介绍EMR Spark Streaming SQ

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

8月28日【Spark Streaming SQL流式处理简介】 主讲人:云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor,开源爱好者 简介:本次直播将简要介绍EMR Spark Streaming SQ

阅读全文

浅析云存储的TCS和LCA两大架构

云存储(Cloud storage)是一种网上在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。这一概念的提出,始于亚马逊提供的一项服务。传统的系统利用紧耦合对称架构(TCS),下一代架构已经采用了松弛耦合非对称架构(LCA

阅读全文

块存储支持云化618实战总结

集团云化项目事实上是整个阿里巴巴在基础技术和中间件技术,以及上层应用的一个技术的巨大的团建。他像当年做双11一样的重要。而在这个过程中间,整个阿里巴巴生态体技术体系如何思考重构,甚至分工重新的发生,都有可能。 ——老石头 本文作者:虎牙 背景 从最早的 20

阅读全文

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用

阅读全文

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ 作者:余根茂,阿里巴巴计算平台事业部EMR团队的技术专家,参与了Had

阅读全文

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分

阅读全文

数据存储工作相关问答

查看更多 提问题

怎么定时执行 vacuum full table 维护任务? 我们每天的调度任务中(调度任务跑的都是存储过程),有一项工作是,需要把前一天的分区表数据 vacuum 一下,但是 vacuum 不能在function和procedure中调用,会报“[25001] ERROR: VACUUM cannot be executed from a function”。

怎么定时执行 vacuum full table 维护任务? 我们每天的调度任务中(调度任务跑的都是存储过程),有一项工作是,需要把前一天的分区表数据 vacuum 一下,但是 vacuum 不能在function和procedure中调用,会报“[250

阅读全文

workflow这个功能很期待,想问下他的工作流之间的依赖关系是怎么建立的,是用户自己定义么?

workflow这个功能很期待,想问下他的工作流之间的依赖关系是怎么建立的,是用户自己定义么?

阅读全文

如何在不在主机上发布端口的情况下访问在docker容器(由Rancher管理)中运行的MySQL?

我正在使用Rancher来管理编排我的Docker容器的Kubernetes。 我们需要持久性的每个微服务(在容器中运行)都有一个相应的MySQL容器。例如,MyApp在名为MyApp的容器中运行,并持久存储到名为MySQL-MyApp的MySQL容器中

阅读全文

[@小川游鱼][¥20]项目上线三个月,每天过亿的数据量....如何处理是好?

1、数据表里面的数据是在是太多了,通常要做一些数据统计报表之类的工作,头疼的很 2、已经做过如下的处理,但是...似乎已经快到极限,撑不下去了 1) 分表 2) 索引 3) SQL优化优化再优化

阅读全文

大数据时代——数据存储技术百问

如今计算机已经渗透到企业运作的各个角落,企业依靠所存放的这些业务数据进行决策,因此企业如何存放数据成为企业信息系统的重中之重,这也掀起了如今的存储热潮。根据不同的应用环境通过采取合理、安全、有效的方式将数据保存并能保证有效的访问需要更高要求的存储模式。 ![

阅读全文

MongoDB和Spark:无法将STRING转换为TimestampType

我正在使用官方MongoDB Spark Connector从MongoDB集合中读取Spark中的数据,其代码如下: val spark = SparkSession. builder(). appN

阅读全文

Airflow SparkSubmitOperator - 如何在另一台服务器中进行spark-submit

我们的airflow 调度程序和我们的hadoop集群没有设置在同一台机器上(第一个问题:这是一个好习惯吗?)。 我们有许多需要调用pyspark脚本的自动过程。那些pyspark脚本存储在hadoop集群(10.70.1.35)中。airflow da

阅读全文

想去面试PHP程序员,工作之余自学了一些计算机技能,现在面试都是要一些项目经验 大家给我些经验教训?

下面是我的一些个人项目 在加工完善中 云南明楚教育有限公司 http://mingchujiaoyu.com 西部数码虚拟主机 有腾讯云免费域名证书 不强制用https (也是我刚刚接触公司的网站) 云南明楚教育有限公司客户系统

阅读全文