1. 云栖社区>
  2. 全部标签>
  3. #数据处理#
数据处理

#数据处理#

已有4人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

移动互联网漫谈(4)-移动通信网络

版权声明:本文为半吊子子全栈工匠(wireless_com,同公众号)原创文章,未经允许不得转载。

数据处理 互联网 移动互联网 Office

基于AWS云服务的批处理系统架构

在AWS执行批处理任务时,允许按需配置多部分作业处理的应用架构,可用于对异构的系统的瞬时或延迟部署,并可扩展为“网格”型工作节点,通过并联的大批量任务处理实现快速收敛。

架构 数据处理 高可用 容器 云服务 存储 数据存储

基于AWS的广告服务应用架构

互联网广告服务需要在有限时间内完成定向广告,这是需要面对的技术挑战。AWS提供了在云端构建可靠的,容错的,高可用系统的基础设施和服务。

架构 服务器 日志 数据处理 高可用 基础设施 集群 可扩展性 数据分析 Mapreduce 存储

基于AWS的web日志分析系统架构

AWS提供的服务和基础设施能够在云环境中建设可靠,容错和高可用的Web应用程序。在生产环境中,这些应用产生大量的日志信息。这些数据是任何公司运营web应用程序的重要知识来源,分析日志可以揭示信息,如交通模式,用户行为,市场资料等。

大数据 架构 服务器 hadoop 日志 数据处理 高可用 数据库 web 集群 Mapreduce service 日志分析

地铁译:Spark for python developers --- 搭建Spark虚拟环境1

一个多月的地铁阅读时光,阅读《Spark for python developers》电子书,不动笔墨不看书,随手在evernote中做了一下翻译,多年不习英语,自娱自乐。

python 大数据 架构 hadoop 数据处理 数据库 基础设施 持续集成 spark 开发环境 Mapreduce 存储 数据存储

地铁译:Spark for python developers --- 搭建Spark虚拟环境2

这一段,主要是 Spark 的基本概念,以及Anaconda的基本组成。 理解Spark Hadoop 随着数据的增长水平扩展,可以运行在普通的硬件上, 所以是低成本的.

python 分布式 大数据 hadoop 函数 数据处理 集群 数据分析 spark 数据存储 流数据

地铁译:Spark for python developers ---构建Spark批处理和流处理应用前的数据准备

从github,twitter,meetup 获得数据,并理解数据,由于GFS, 代码的执行要翻墙的…… 使用PySpark和PyData相关库构建应用来分析社交网络中含有Spark的交互信息. 我们从GitHub收集有关Apache Spark的信息, 在Twitter上检查相关的tweets, 使用 Meetup从更广泛的开源社区得到更多Spark 相关感受。

python 架构 Json Apache 数据处理 spark API Twitter github

地铁译:Spark for python developers ---Spark流式数据处理

先研究一下不断改变的动态环境带来的挑战,在列出流处理应用的先决条件(如,Twitter的TCP Sockets连接)之后, 结合Spark, Kafka 和 Flume 把数据放入一个低延迟,高吞吐量,可缩放的处理流水线。

python 架构 数据处理 spark Consumer Twitter zookeeper

全栈必备 面向数据的架构

版权声明:本文为半吊子子全栈工匠(wireless_com,同公众号)原创文章,未经允许不得转载。

深度学习 安全 架构 公共云 数据处理 数据仓库 数据分析 专有云 离线分析 报表 存储 数据存储 数据应用

物联网的四种计算模式

版权声明:本文为半吊子子全栈工匠(wireless_com,同公众号)原创文章,未经允许不得转载。 https://blog.csdn.net/wireless_com/article/details/84750446 从物联网从业者的角度来看,经常看到对计算更加可用和分布式的需求。

大数据 算法 模块 数据处理 解决方案 物联网 神经网络

3D可视化管理应对物联网数据过载

在物联网管理应用中,将传感器数据和状态直观展示在三维模型上,极大地增强了人们理解和处理物联网数据的能力。

数据处理 控制台 解决方案 物联网 海量数据 thingjs 3D可视化 物联网可视化 可视化管理 数据过载

数据处理的神来之笔 解决缓存击穿的终极利器

缓存击穿是什么? 缓存穿透是指查询一个一定不存在的数据,这样的请求都要到存储层去查询,失去了缓存的意义。在流量大时,可能DB就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞。

分布式 架构 算法 java 性能 数据处理 高可用 互联网 高并发 内存模型 微服务 持续集成 版本管理 分布式架构 前端开发

第14周Python机器学习周记

时间:第14周 &关于计划: 决策树的学习--使用ID3算法: (1)数据处理部分: 计算香农熵; 划分数据集合; 选择最好的数据集划分方式; 构建决策树; (2)Matplotlib绘图部分: 基本节点绘制函数; 构造注解树、使用决策树执行分类; (本文内容参考于《机器学习实战》) &内容摘要: 1.

python 算法 函数 数据处理 测试

为什么我们说海量数据处理技术会火

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qingfeng812/article/details/9018339 为什么我们说海量数据处理技术会火   大数据处理技术正在改变目前计算机的运行模式。

大数据 NOSQL 数据处理 创业 数据库 分布式计算 google 云平台 存储 海量数据 海量数据处理

新闻背后|收购Flink公司Data Artisans,开发者的这些问题可以从这篇文章得到回答

Blink和Flink的关系,研发过程中的故事,与Data Artisans的合作。都看这里。

Apache 数据处理 创业 容器

【新功能】共享带宽明细数据导出及各种计费方式的价格计算器

共享带宽支持增强95计费和传统95计费模式,这两种计费模式会出月账单。月账单如果金额较大,用户会有对账需求。对账是指用户需要详细的看一下共享带宽实例上的带宽消耗情况。共享带宽支持了上个月的带宽明细数据的导出功能以便用户进行带宽数据的核对。

数据可视化 数据处理 Image 数据挖掘 带宽 Excel

119
GO