1. 云栖社区>
  2. 全部标签>
  3. #Driver#
Driver

#Driver#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark 通用的性能配置方法:内存和CPU的配置

前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的方法。通过配置内存和CPU(Vcore)是比较基础、通用的方法。本文出现的Demo以X-Pack Spark数据工作台为背景介绍,数据工作台的详细介绍请参考:数据工作台。

性能 配置 spark Driver CPU x-pack spark性能调优

POLARDB for Oracle初步体验报告

将一套使用Spring +Struts2+Hibernate的CRM系统成功从Oracle迁移到了POLARDB for Oracle。

PostgreSQL Oracle 性能 数据库 配置 测试 JDBC 序列 Driver Hibernate 开发框架 navicat

SparkStreaming中foreachRDD、foreachPartition和foreach 及序列化问题

最近项目遇到报错序列化相关问题,于是把这三个拿出来分析一下,先来看下foreachRDD、foreachPartition和foreach的不同之处。不同主要在于它们的作用范围不同,foreachRDD作用于DStream中每一个时间间隔的RDD,foreachPartition作用于每一个时间间隔的RDD中的每一个partition,foreach作用于每一个时间间隔的RDD中的每一个元素。

Driver

【推广】Apache Cassandra英文培训视频(带字幕&免费)

Apache Cassandra英文培训视频(带字幕&免费)

linux 大数据 windows Apache 数据库 path c# Cassandra Driver replication 培训 字幕

AnalyticDB for PG 如何作为数据源对接帆软 FineBI

本文介绍 分析型数据库 PostgreSQL 版 (AnalyticDB for PostgreSQL) 如何作为 帆软 BI 的数据源,支持 BI 查询展现。

数据存储与数据库 PostgreSQL 数据库 数据仓库 测试 JDBC ads 分析型数据库 Driver 报表 big data MaxCompute AnalyticDB 帆软

Python爬虫入门教程 59-100 python爬虫高级技术之验证码篇5-极验证识别技术之二

@[toc] 图片比对 昨天的博客已经将图片存储到了本地,今天要做的第一件事情,就是需要在两张图片中进行比对,将图片缺口定位出来 缺口图片 完整图片 计算缺口坐标 对比两张图片的所有RBG像素点,得到不一样像素点的x值,即要移动的距离 def get_distance(self,cut_image,full_image): # print(cut_image.

编程语言 python random Image Driver class

Python爬虫入门教程 58-100 python爬虫高级技术之验证码篇4-极验证识别技术之一

验证码类型 今天要搞定的验证码属于现在使用非常多的验证码的一种类型---极验证滑动验证码,关于这个验证码的详细说明查阅他的官网,https://www.geetest.com/ 把验证码做到这个地步,必须点赞了。

编程语言 python javascript html5 pos 浏览器 Image Driver class selenium webdriver

Python爬虫入门教程 57-100 python爬虫高级技术之验证码篇3-滑动验证码识别技术

滑动验证码介绍 本篇博客涉及到的验证码为滑动验证码,不同于极验证,本验证码难度略低,需要的将滑块拖动到矩形区域右侧即可完成。 这类验证码不常见了,官方介绍地址为:https://promotion.

编程语言 python Image Driver selenium chrome html webdriver

Docker 私有仓库搭建

文章首发于公众号《程序员果果》地址:https://mp.weixin.qq.com/s/tBh6kT4I5XniCoFEcn7W9A 一、简介 在 Docker 中,当我们执行 docker pull xxx 的时候 ,它实际上是从 registry.hub.docker.com 这个地址去查找,这就是Docker公司为我们提供的公共仓库。

nginx docker LOG shell 镜像 Image syslog UI Driver Registry

TalkingData的Spark On Kubernetes实践

本文整理自talkingdata云架构师徐蓓的分享,介绍了Spark On Kubernetes在TalkingData的实践。

日志 配置 镜像 cluster 集群 Image node spark Driver ks8

Macaca框架及基础原理

一、Macaca框架 PS:上图所有模块均可以在官方github上找到对应的源码 https://github.com/macacajs 二、各模块浅析 2.1、Macaca 2.1. macaca-cli Macaca提供的命令行工具 $macaca server 启动server $mac.

ios 架构 日志 模块 源码 测试 Server 脚本 Driver 自动化测试

Spark on Kubernetes原生支持浅析

概述 Kubernetes自推出以来,以其完善的集群配额、均衡、故障恢复能力,成为开源容器管理平台中的佼佼者。从设计思路上,Spark以开放Cluster Manager为理念,Kubernetes则以多语言、容器调度为卖点,二者的结合是顺理成章的。

镜像 cluster 集群 容器 Image spark Driver pods kubernetes

AI平台-Spark引擎架构

1. 背景 2.spark内核结构 2.1 重要组成部分 1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask2.

架构 Image spark Driver

离线安装jdbc driver

maven下载mysql jdbc driver地址https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.16

mysql Maven Image JDBC Driver DataGrip离线安装

Docker

centos7安装docker1.13.1 docker镜像管理、容器管理 docker数据卷的概念以及创建方式 docker 4种网络模式

docker 配置 镜像 容器 centos Driver volume Create docker安装

浅谈 Spark 的多语言支持

Spark架构和设计上的优秀毋庸置疑,从一出道便抢了 Hadoop 的 C 位。在开源大数据的黄金十年一时风头无两,在当下人工智能时代仍然能够与时俱进,通天之处不遑多言,美中不足之处也有不少。小的方面,比如调度模型跟 MapReduce 这种计算范式过于耦合,Spark 最近引入 Barrier 调度模式就是为了支持深度学习这种新的计算类型,所幸在于对框架的改动不会伤筋动骨;有些缺陷则不然,影响全局,调整起来绝非易事。

python 深度学习 大数据 java hadoop 阿里技术协会 spark scala 开源大数据 Driver EMR 多语言

109
GO