python --- queue模块使用

简介: 1. 什么是队列?  学过数据结构的人都知道,如果不知道队列,请Google(或百度)。2. 在python中什么是多生产者,多消费模型?  简单来说,就是一边生产(多个生产者),一边消费(多个消费者)。

1. 什么是队列?

  学过数据结构的人都知道,如果不知道队列,请Google(或百度)。

2. 在python中什么是多生产者,多消费模型?

  简单来说,就是一边生产(多个生产者),一边消费(多个消费者)。比如,一边有m个线程生产数据,另一边有n个线程消费(使用)数据,这就是多生产者,多消费者模型。

  注:消费依赖生产(没有厂家生产产品,就不会有关于这种产品的消费),在python中,如果生产者线程没有产生数据,那么消费者线程有关于消费行为的操作就应当处于阻塞状态。

3. 在python中为什么有queue这个标准模块?它有什么用?

  用threading.Lock Objects或其他的锁来完成上一问的需求会很复杂,所以queue这个模块简化了这些操作。

  queue模块实现多生产者,多消费者队列。它特别适用于信息必须在多个线程间安全地交换的多线程程序中。该模块中的Queue类实现了所有需要的锁定语义。

  queue模块实现了三类队列,主要差别在于取得数据的顺序上。在FIFO(First In First Out,先进先出)队列中,最早加入的任务会被最先得到。在LIFO(Last In First Out,后进先出)队列中,最后加入的任务会被最先得到(就像栈一样)。在优先队列中,任务被保持有序(使用heapq模块),拥有最小值的任务(优先级最高)被最先得到。

 

queue模块提供的方法:

 1 Queue.empty()
 2 """
 3 如果队列为空,返回True,否则返回False。如果empty()返回True,它不保证后续调用put()不会阻塞。类似的,如果empty()返回False也不能保证接下来的get()调用不会被阻塞。
 4 """
 5 
 6 Queue.full()
 7 """
 8 如果队列已满,则返回True,否则返回False。如果full()返回True,它不保证后续调用get()不会阻塞。类似的,如果full()返回False并不能保证接下来的put()调用不会被阻塞。
 9 """
10 
11 Queue.qsize()
12 """
13 返回队列的近似大小。注意,qsize()> 0不保证随后的get()不会阻塞,qsize() < maxsize也不会保证put()不会被阻塞。
14 """
15 
16 Queue.put(item, block=True, timeout=None)
17 """
18 将item放入队列中。如果可选的参数block为True且timeout为None(默认的情况,阻塞调用,无超时),如有必要(比如队列满),阻塞调用线程,直到有空闲槽可用。如果超时是正数,则它最多阻塞超时秒,如果在该时间内没有空闲插槽,则引发Full异常。如果block为False,如果有空闲槽可用将数据放入队列,否则立即抛出Full异常(非阻塞调用,timeout被忽略)。
19 """
20 
21 Queue.get(block=True, timeout=None)
22 """
23 从队列中移除并返回一个数据。如果可选的参数block为True且timeout为None(默认的情况,阻塞调用,无超时),阻塞调用进程直到有数据可用。如果超时是正数,则它最多阻塞超时秒,如果在该时间内没有可用的项,则引发Empty异常。如果block为False,如果有数据可用返回数据,否则立即抛出Empty异常(非阻塞调用,timeout被忽略)。
24 """
25 
26 Queue.put_nowait(item)
27 """
28 等同于put(item, block=False)(非阻塞调用)。
29 """
30 
31 Queue.get_nowait()
32 """
33 等同于get(block=False)(非阻塞调用)。
34 """
35 
36 Queue.task_done()
37 """
38 意味着之前入队的一个任务已经完成。由队列的消费者线程调用。每一个get()调用得到一个任务,接下来的task_done()调用告诉队列该任务已经处理完毕。
39 
40 If a join() is currently blocking, it will resume when all items have been processed (meaning that a task_done() call was received for every item that had been put() into the queue).
41 
42 如果该方法被调用的次数多于被放入队列中的任务的个数,ValueError异常会被抛出。
43 """
44 
45 Queue.join()
46 """
47 阻塞调用线程,直到队列中的所有任务被处理掉。
48 
49 只要有数据被加入队列,未完成的任务数就会增加。当消费者线程调用task_done()以指示该项目已检索并且其上的所有工作都已完成时,计数将减少。当未完成的任务数降到0,join()解除阻塞。
50 """
Queue对象(Queue、LifoQueue和PriorityQueue)提供了下述的公共方法

   注:由于同一进程的线程之间内存空间是共享的,故在同一进程的任一线程中定义的Queue对象,在该进程的任一线程都可以使用。

例(演示queue模块的使用):

 1 import queue,threading
 2 import random,time
 3 
 4 class Producter(threading.Thread):
 5     def __init__(self, name):
 6         super(Producter, self).__init__()
 7         self.name = "Producter:" + str(name)
 8 
 9     def run(self):
10         things = ['A', 'B', 'C']
11         for i in range(3):
12             production = random.choice(things)
13             print(self.name + " producted--->" + production)
14             production = production + " from " + self.name
15             all_productions.put(production) #将生产的数据放入队列
16             time.sleep(1)
17         time.sleep(5)
18 
19 class Consumer(threading.Thread):
20     def __init__(self, name):
21         super(Consumer, self).__init__()
22         self.name = "Consumer:" + str(name)
23 
24     def run(self):
25         for i in range(2):
26             thing = all_productions.get()  #拿出已经生产好的数据
27             print(self.name + " is using--->" + thing)
28             time.sleep(2)
29             all_productions.task_done()   #告诉队列有关这个数据的任务已经完成
30         time.sleep(5)
31 
32 if __name__ == "__main__":
33     all_productions = queue.Queue()
34 
35     #启动两个生产者线程生
36     p_s = []
37     for i in range(2):
38         p = Producter(i)
39         p.start()
40         p_s.append(p)
41 
42     #启动三个消费者线程消费
43     c_s = []
44     for i in range(3):
45         c = Consumer(i)
46         c.start()
47         c_s.append(c)
48 
49     #阻塞,直到生产者生产的数据被消耗完
50     all_productions.join()
51     #等待生产者线程结束
52     for p in p_s:
53         p.join()
54     #等待消费者线程结束
55     for c in c_s:
56         c.join()
57     print("finish....")
queue模块简单使用演示

 

目录
相关文章
|
17天前
|
存储 开发者 Python
Python中的collections模块与UserDict:用户自定义字典详解
【4月更文挑战第2天】在Python中,`collections.UserDict`是用于创建自定义字典行为的基类,它提供了一个可扩展的接口。通过继承`UserDict`,可以轻松添加或修改字典功能,如在`__init__`和`__setitem__`等方法中插入自定义逻辑。使用`UserDict`有助于保持代码可读性和可维护性,而不是直接继承内置的`dict`。例如,可以创建一个`LoggingDict`类,在设置键值对时记录操作。这样,开发者可以根据具体需求定制字典行为,同时保持对字典内部管理的抽象。
|
19天前
|
存储 缓存 算法
Python中collections模块的deque双端队列:深入解析与应用
在Python的`collections`模块中,`deque`(双端队列)是一个线程安全、快速添加和删除元素的双端队列数据类型。它支持从队列的两端添加和弹出元素,提供了比列表更高的效率,特别是在处理大型数据集时。本文将详细解析`deque`的原理、使用方法以及它在各种场景中的应用。
|
4天前
|
Python
python学习14-模块与包
python学习14-模块与包
|
6天前
|
SQL 关系型数据库 数据库
Python中SQLite数据库操作详解:利用sqlite3模块
【4月更文挑战第13天】在Python编程中,SQLite数据库是一个轻量级的关系型数据库管理系统,它包含在一个单一的文件内,不需要一个单独的服务器进程或操作系统级别的配置。由于其简单易用和高效性,SQLite经常作为应用程序的本地数据库解决方案。Python的内置sqlite3模块提供了与SQLite数据库交互的接口,使得在Python中操作SQLite数据库变得非常容易。
|
11天前
|
索引 Python
「Python系列」Python operator模块、math模块
Python的`operator`模块提供了一系列内置的操作符函数,这些函数对应于Python语言中的内建操作符。使用`operator`模块可以使代码更加清晰和易读,同时也能提高性能,因为它通常比使用Python内建操作符更快。
27 0
|
15天前
|
数据采集 网络协议 API
python中其他网络相关的模块和库简介
【4月更文挑战第4天】Python网络编程有多个流行模块和库,如requests提供简洁的HTTP客户端API,支持多种HTTP方法和自动处理复杂功能;Scrapy是高效的网络爬虫框架,适用于数据挖掘和自动化测试;aiohttp基于asyncio的异步HTTP库,用于构建高性能Web应用;Twisted是事件驱动的网络引擎,支持多种协议和异步编程;Flask和Django分别是轻量级和全栈Web框架,方便构建不同规模的Web应用。这些工具使网络编程更简单和高效。
|
19天前
|
数据采集 数据挖掘 Python
Python中collections模块的Counter计数器:深入解析与应用
在Python的`collections`模块中,`Counter`是一个强大且实用的工具,它主要用于计数可哈希对象。无论是统计单词出现的频率,还是分析数据集中元素的分布情况,`Counter`都能提供快速且直观的结果。本文将深入解析`Counter`计数器的原理、用法以及它在实际应用中的价值。
|
20天前
|
Python
Python中的math和cmath模块:数学运算的得力助手
Python作为一种功能强大的编程语言,提供了丰富的数学运算功能。其中,math和cmath模块就是Python中用于数学运算的重要工具。math模块提供了基本的数学函数和常量,适用于实数运算;而cmath模块则提供了对复数运算的支持,使得Python在数学计算和工程应用中更加灵活和强大。
|
23天前
|
数据挖掘 Python
Python中的datetime模块:轻松拿捏时间操作
Python的`datetime`模块是处理日期和时间的核心工具,包括`date`、`time`、`datetime`、`timedelta`类。它可以创建、操作和格式化日期时间。
19 2
|
25天前
|
Python
Python random模块(获取随机数)常用方法和使用例子
`random`模块在Python中用于生成随机数。
21 0