1. 云栖社区>
  2. 全部标签>
  3. #数据处理#
数据处理

#数据处理#

已有4人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

大数据教程系列之大数据概念

  大数据教程系列之大数据概念,随着大数据时代的到来,“大数据”已经成为互联网信息技术行业的流行词汇。关于什么是大数据这个问题,大家比较认可大数据的“4V”说法。大数据的四个V,即说的是大数据的四个特征,分别是数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)、价值密度低(Value)。

大数据 数据处理 企业应用 存储 数据类型 大数据分析 海量数据

这场大数据+AI Meetup,一次性安排了大数据当下热门话题

6月14日,阿里巴巴计算平台事业部与阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启,此次 Meetup 邀请了来自阿里巴巴、Databricks、快手、网易云音乐的7位技术专家,集中解读大数据当前热门话题!

大数据 算法 Apache 数据处理 数据仓库 spark AI 流计算 flink 实时计算

Flink 完美搭档:数据存储层上的 Pravega

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

大数据 架构 消息队列 数据处理 集群 弹性伸缩 序列 stream 存储 数据存储 流计算 flink 实时计算

Flink Weekly | 每周社区动态更新-20200520

本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

大数据 Apache 数据处理 集群 测试 runtime html 流计算 flink 实时计算

重磅!Apache Flink 1.11 功能前瞻抢先看!

Flink 1.11 版本即将正式宣告发布!为满足大家的好奇与期待,我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进,并致力于进一步提高 Flink 的可用性及性能。

python 大数据 日志 Apache 数据处理 配置 pandas UDF source 流计算 flink 实时计算

Flink 1.10 SQL、HiveCatalog 与事件时间整合示例

Flink 1.10 与 1.9 相比又是个创新版本,在我们感兴趣的很多方面都有改进,特别是 Flink SQL。本文用根据埋点日志计算 PV、UV 的简单示例来体验 Flink 1.10 的两个重要新特性.

大数据 函数 SQL Apache 数据处理 scala string Hive schema 流计算 flink 实时计算

轻量化AI服务再添两将!阿里云机器学习PAI DSW 2.0 & Alink商业版重磅发布

近日,阿里云推出机器学习PAI两大新品DSW 2.0 & Alink商业版,机器学习PAI产品家族,覆盖了机器学习的数据处理、建模、训练、模型优化、在线预测的全产品线,用户既可以搭建完整的个性化推荐系统,让CTR提高10%+; 也可以使用Blade进行深度学习模型进行优化,节省GPU消耗50%。

python 算法 性能 数据处理 云盘 spark 脚本 插件 MaxCompute 关联分析

六问数据中台!你想知道的都在这了!

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 数据中台、相信这四个字大家一定不陌生。因为在2019年、数据中台可谓是最火的概念之一,很多大公司都在布局自己的数据中台。

大数据 架构 模块 数据处理 数据仓库 报表 数据管理 数据应用

数据中台的存储系统和计算平台枚举

采集&传输层 SqoopHadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据 DataX阿里巴巴开源的数据同步工具,用来在各种异构数据源之间同步数据。

分布式 大数据 消息队列 hbase hdfs hadoop 日志 Apache 数据处理 数据库 数据仓库 spark solr 离线计算 存储

Alibaba Cloud Native Day | 5 月 30 日杭州场线上直播

Alibaba Cloud Native Day 第二期将于 5 月 30 日全天进行线上直播!

native Cloud 数据处理 消息中间件 容器 沙箱 医疗 编程 alibaba kubernetes serverless 云原生 OAM

大白话 六问数据中台!你想知道的都在这了!

数据中台、相信这四个字大家一定不陌生。因为在2019年、数据中台可谓是最火的概念之一,很多大公司都在布局自己的数据中台。 那么数据中台到底是什么?它和我们熟知的数据平台有啥区别?它为什么会这么火、能给企业带来什么价值呢?数据中台整体架构和全景图又是什么呢? 笔者有幸参与了公司数据中台从0到N的建设,计划从概念到落地,把中台那些事跟您说透,与您一起分享学习。

大数据 架构 模块 数据处理 数据仓库 报表 数据管理 数据应用 数据中台 数据平台

回顾 | Apache Flink Meetup 杭州站圆满结束(附PPT下载)

5月16日,2020 年首场 Apache Flink Meetup · 杭州站在线直播圆满结束。本次 Meetup 邀请了来自袋鼠云、网易云音乐、有赞及阿里巴巴的四位技术专家分享关于实时数仓、1.10 生产环境实践、Flink 分布式同步工具以及 Flink 在 AI 流程中的应用。

分布式 大数据 SQL Apache 数据处理 袋鼠云 流计算 flink 实时计算

如何用一套引擎搞定机器学习全流程?

本文由阿里技术专家陈戊超(仲卓)分享。深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域,此外还在向社会各个领域迅速渗透。

深度学习 分布式 大数据 数据处理 集群 node source 流计算 TensorFlow flink 实时计算 ML

Flink Weekly | 每周社区动态更新-20200513

大家好,本文为 Flink Weekly 的第十五期,由张成整理,李本超 Review。本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

大数据 Apache 数据处理 html 流计算 flink 实时计算

Flink 与 Hive 的磨合期

在上篇文章中,笔者使用的 CDH 版本为 5.16.2,其中 Hive 版本为 1.1.0(CDH 5.x 系列 Hive 版本都不高于 1.1.0,是不是不可理解),Flink 源代码本身对 Hive 1.1.0 版本兼容性不好,存在不少问题。

大数据 SQL Apache 数据处理 数据库 配置 spark string Hive type 存储 流计算 flink 实时计算

Flink 1.10 细粒度资源管理解析

对于作业规模不大的普通用户而言,这些通常在可以接受的范围之内,但对于上千并行度的大作业来说,浪费资源的总量会非常可观,而且进程的不稳定性导致的作业恢复时间也会比普通作业长得多,因此阿里巴巴的 Blink 团队针对内存管理机制做了大量的优化,并于近期开始合并到 Flink。

大数据 线程 数据处理 配置 内存管理 流计算 实时计算

什么是阿里云智能媒体管理

阿里云智能媒体管理(Intelligent Media Management,简称 IMM),场景化封装数据智能分析管理。为云上文档、图片数据,提供一站式数据处理、分析、检索等管控体验。针对不同的业务场景,封装整合完整的处理能力,让数据快速流转。

OSS 数据处理 云存储 Image aliyun 人脸检测

扎心!天天写代码,方向真的对吗?

每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。

大数据 hadoop Apache 数据处理 spark Mapreduce 流计算 海量数据 flink 实时计算

Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!

如果你对以上问题深有同感,那说明这篇文章很适合你。我们来看看如何真正解决这个问题。接下来我将带各位了解下 Flink 与 Hive 生产级别的整合工作。

大数据 函数 数据处理 基础设施 数据仓库 数据分析 Hive 分区表 数据类型 数据存储 流计算 数据管理 flink 实时计算

146
GO