《Python分布式计算》 0 序言 (Distributed Computing with Python)

简介: 序言第1章 并行和分布式计算介绍第2章 异步编程第3章 Python的并行计算第4章 Celery分布式应用第5章 云平台部署Python第6章 超级计算机群使用Python第7章 测试和调试分布式应用第8章 继续学习Python分布式计算作者简介Francesco Pierfederici是一名喜爱Python的软件工程师。

序言
第1章 并行和分布式计算介绍
第2章 异步编程
第3章 Python的并行计算
第4章 Celery分布式应用
第5章 云平台部署Python
第6章 超级计算机群使用Python
第7章 测试和调试分布式应用
第8章 继续学习


img_b17e216d6ca19fd9870eb122f50ae5de.jpe
Python分布式计算

作者简介

Francesco Pierfederici是一名喜爱Python的软件工程师。过去20年间,他的工作领域涉及天文学、生物学和气象预报。

他搭建过上万CPU核心的大型分布式系统,并在世界上最快的超级计算机上运行过。他还写过用处不大,但极为有趣的应用。他总是喜欢创造新事物。

“我要感谢我的妻子Alicia,感谢她在成书过程中的耐心。我还要感谢Packt出版社的Parshva Sheth和Aaron Lazar,以及技术审稿人James King,他们让这本书变得更好。” —— Francesco Pierfederici


审稿人简介

James King 是一名有丰富分布式系统开发经验的工程师。他是许多开源项目的贡献者,包括OpenStack和Mozilla Firefox。他喜欢数学、与孩子们骑马、游戏和艺术。


序言

并行和分布式计算是一个具有吸引力的课题,几年之前,只有大公司和国家实验室的开发者才能接触到。这十年间,情况发生了改变:现在所有人都可以使用各种语言搭建中小型的分布式应用,这些语言中自然包括我们的最爱:Python。

这本书是为搭建分布式系统的Python开发者而写的实践指导。它首先介绍了关于并行和分布式计算的基础理论。然后,用Python的标准库做了几个并行计算示例。接着,不再使用一台计算机,而是使用第三方库,包括Celery和Pyro,扩展到更多节点。

剩下的章节探讨了分布式应用的部署方案,包括云平台和超级计算机群(High Performance Computing,HPC),分析了各自的优势和难点。

最后,分析了一些难点,监控、登录、概述和调试。

总之,这是一本关注实践的书,它将教会你使用一些流行的框架和方法,使用Python搭建并行分布系统。

本书的内容

第1章,并行和分布式计算介绍,介绍基础理论。
第2章,异步编程,介绍两种分布式应用的编程风格:同步和异步。
第3章,Python的并行计算,介绍使用Python的标准库,实现同一时间完成多项任务。
第4章,Celery分布式应用,介绍如何使用Celery搭建最简单的分布式应用,以及Celery的竞争对手Python-RQ和Pyro。
第5章,云平台使用Python,展示如何使用AWS将Python应用部署到云平台。
第6章,超级计算机群使用Python,介绍将Python应用部署到超级计算机群,多应用于大学和国家实验室。
第7章,测试和调试分布式应用,讲解了Python分布式应用在测试、概述和调试中的难点。
第8章,继续学习,回顾前面所学,向感兴趣的读者介绍继续学习的路径。


序言
第1章 并行和分布式计算介绍
第2章 异步编程
第3章 Python的并行计算
第4章 Celery分布式应用
第5章 云平台部署Python
第6章 超级计算机群使用Python
第7章 测试和调试分布式应用
第8章 继续学习


目录
相关文章
|
7天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
1月前
|
消息中间件 监控 NoSQL
一文读懂python分布式任务队列-celery
celery是一个简单,灵活、可靠的分布式任务执行框架,可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列,众多消费者从任务队列中取任务执行【2月更文挑战第11天】
81 5
|
8月前
|
数据采集 XML 搜索推荐
聚焦Python分布式爬虫必学框架Scrapy打造搜索引擎
聚焦Python分布式爬虫必学框架Scrapy打造搜索引擎
|
8月前
|
机器学习/深度学习 运维 算法
分布式电源对配电网故障定位的影响(Python代码实现)
分布式电源对配电网故障定位的影响(Python代码实现)
分布式电源对配电网故障定位的影响(Python代码实现)
|
9月前
|
算法 新能源 调度
基于DistFlow的含分布式电源配电网优化模型【IEEE39节点】(Python代码实现)
基于DistFlow的含分布式电源配电网优化模型【IEEE39节点】(Python代码实现)
170 0
|
11月前
|
数据采集 搜索推荐 NoSQL
python如何分布式和高并发爬取电商数据
python如何分布式和高并发爬取电商数据
|
12月前
|
JSON 网络协议 Shell
Python 基于Python及zookeeper实现简单分布式任务调度系统设计思路及核心代码实现 2
Python 基于Python及zookeeper实现简单分布式任务调度系统设计思路及核心代码实现
191 0
|
12月前
|
网络协议 Linux 测试技术
Python 基于Python及zookeeper实现简单分布式任务调度系统设计思路及核心代码实现 1
Python 基于Python及zookeeper实现简单分布式任务调度系统设计思路及核心代码实现
141 0
|
数据采集 前端开发 搜索推荐
python如何通过分布式爬虫爬取舆情数据
python如何通过分布式爬虫爬取舆情数据
python如何通过分布式爬虫爬取舆情数据
|
存储 算法 NoSQL
说起分布式自增ID只知道UUID?SnowFlake(雪花)算法了解一下(Python3实现)
但凡说起分布式系统,我们肯定会对一些海量级的业务进行分拆,比如:用户表,订单表。因为数据量巨大一张表完全无法支撑,就会对其进行分库分表。但是一旦涉及到分库分表,就会引申出分布式系统中唯一主键ID的生成问题,当我们使用mysql的自增长主键(auto\_increment)时,充分感受到了它的好处:整个系统ID唯一,ID是数字类型,而且是趋势递增的,ID简短,查询效率快,在分布式系统中显然由于单点问题无法使用mysql自增长了,此时需要别的解决方案来支撑分布式业务。
说起分布式自增ID只知道UUID?SnowFlake(雪花)算法了解一下(Python3实现)

热门文章

最新文章