1 什么是进程
进程是系统进行资源分配和调度的基本单位,进程表示程序正在执行的过程,是‘活的’,而程序就是一推躺在硬盘上的代码,是‘死的’。
2 进程的调度
1.先来先服务调度算法:对长作业有利,对短作业无利
2.短作业优先调度算法:对短作业有利,对长作业无利
3.时间片轮转法+多级反馈队列
该方法是指,将时间片切成n份,每一份表示一个时间片,这些时间片有一个优先级顺序,最上面的优先执行,一个长任务第一个时间片没有完成会被放到第二个,如果第一个时间片有来任务会优先等第一个执行完在执行第二个。
3 进程的三状态图
4. 如何创建进程4.1 进程创建的第一种方式(掌握)
from multiprocessing import Process # 导入进程模块import time# 子进程函数def func(name): print('支线%s'% name) time.sleep(3) print('over%s'% name)# windows下创建进程,一定要在main下面创建# 因为windows创建进程类似于模块导入的方式,会从上往下依次执行,如果放在main外面,会一直创建进程下去# linux系统中只是将代码拷贝一份,因此不需要在main下面创建# main表示当该文件是执行文件时才会被运行,该文件是导入的形式时不会被运行if __name__ == '__main__': # 1.创建进程对象 # 参数1:需要创建进程的目标函数; # 参数2:需要给函数传的参数是一个元组形式,当需要传的参数是一个时,注意加一个, p = Process(target=func,args=('yun',)) # 2.开启进程,告诉操作系统创建进程,操作系统会去申请一个内存空间,把子进程丢进去执行 p.start() # 3.下面是主进程的执行 print('主')
4.2 创建进程的第二种方式
from multiprocessing import Processimport time# 1.创建一个类,该类继承Process类class MyProcess(Process): # 2.类中子进程的函数名必须是run def run(self): print('hello') time.sleep(1) print('gun')if __name__ == '__main__': # 3.产生类的对象 p = MyProcess() # 4.开启进程 p.start() print('主')
总结:
1.创建进程实际上就是在内存中申请了一块内存空间,将代码丢进去运行
2.一个进程产生一个内存空间,多个进程产生多个内存空间
3.进程之间默认是无法进行数据交互的,如果需要交互需要借助第三方模块,在子进程修改全局变量,全局变量不会改变
4.3 进程中join方法
join方法是用来让主进程代码等待调用join的子进程代码运行结束之后,在运行主进程!
p1.join() p2.join() p3.join() print('主') 如果p2和p3不调用join方法,主进程就不会等待其运行结束后再运行!!!
4.4 进程对象和其他方法
一台计算机上面运行着很多进程,那么计算机是如何区分并管理着这些进程,计算机会给这些进程各自分配一个pid
在windows终端,可以通过tasklist命令查看所有的进程pid
tasklist |findstr PID 查看具体进程的命令
在mac电脑,可以通过ps aux查看
ps aux|grep PID 查看具有进程的命令
进程的其他方法:
from multiprocessing import Process,current_processimport timeimport osdef func(): # current_process().pid 获取当前进程的进程id print('%s 正在运行'% current_process().pid) time.sleep(2)if __name__ == '__main__': p = Process(target=func) p.start() # os.getpid()也是获取当前进程id的方法 p.terminate() # 杀死当前进程,系统帮您杀死该进程,需要一定的时间,所有下面的is_alive可能为true print(p.is_alive()) # 判断当前进程是否存活 print('主',os.getpid()) # os.getppid()是获取当前父id的方法 print('主主',os.getppid())
4.5 僵尸进程与孤儿进程
僵尸进程:
当子进程死了,子进程并不会立即占用的进程id号,因为需要让父进程查看到子进程的id、运行时间等信息,所有进程会步入僵尸进程
回收子进程的id号:1,负进程调用join()方法 2.父进程等待子进程运行完毕
孤儿进程:
子进程存活,父进程意外死亡。
操作系统会帮你自动回收子进程的资源
4.6 守护进程
“你死我也不独活” p.daemon = True 方法设置守护进程
from multiprocessing import Process,current_processimport timedef func(): print('奴隶活着') time.sleep(2) print('奴隶死去')if __name__ == '__main__': p = Process(target=func) p.daemon = True # 将p这个子进程设置成守护进程,这一句话一定要放在start前面,否则保错 p.start() print('主人死了')
4.7 进程中的互斥锁
多个进程操作同一个数据的时候,很可能会出现数据错乱的问题
针对上述问题,解决方案就是加锁处理:将并发变成串行,牺牲效率保证数据的安全准确
# 1.导入锁模块from multiprocessing import Process LOCK# 2.在主进程中生成一把锁,让所有子进程去抢这把锁,mutex 需要传入对应函数的参数里面mutex = LOCK()# 3.在需要加锁的功能上面mutex.acquire()# 4.在功能执行完的下面,解锁mutex.release()总结:1.锁不要轻易使用,容易造成锁死的现象2.锁只在需要争抢数据的时候使用,保证数据的安全
4.8 进程间的通信
进程之间是无法相互通信的,因此需要采用第三方模块队列queue。
注意:队列中的数据是先进先出的。
# 导入队列模块import queue# 也可以用下面这种方式之间导入到队列类from multiprocessing import Queue# 1.生成一个队列对象q = queue.Queue(3) # 括号内可以传数字,表示队列可以最大存放的数据量,不传有一个很大的默认值# 2.给队列存数据q.put(111)print(q.full()) # 判断当前队列是否存满q.put(222)print(q.empty()) # 判断当前队列是否为空q.put(333)print(q.full())# q.put(444) # 当给队列存的数据个数超过队列的最大存放数,队列会进入阻塞状态等待位置# 3.从队列中取值v1 = q.get()v2 = q.get()v3 = q.get()# v4 = q.get() 当队列中没有数据的时候,在次取值会使得队列进入阻塞v5 = q.get_nowait() # 当队列中没有数据可取的时候,就报错v6 = q.get(timeout=3) # 没有数据原地等待3秒,然后报错print(v1,v2,v3)# 总结:'''q.full()q.empty()q.get_nowait()这三个方法在多进程下是不精确的'''
IPC机制:
1.子进程和主进程之间的通信
2.子进程和子进程之间的通信
from multiprocessing import Queue,Processdef cosumer1(q): # 在子进程中存数据 q.put('我是队列存的信息') print('子进程1')def cosumer2(q): # 在子进程中取数据 print(q.get())if __name__ == '__main__': q = Queue() p = Process(target=cosumer1,args=(q,)) p1 = Process(target=cosumer2,args=(q,)) p.start() p1.start() # 在主进程取出数据 # print(q.get())
5. 进程的综合应用–生产者消费者模型
from multiprocessing import Queue,Process,JoinableQueueimport timeimport random# 生产者子进程def producer(name,food,q): for i in range(5): print('%s生产了%s%s'%(name,food,i)) time.sleep(random.randint(1,3)) q.put(food)def consumer(name,q): # 消费者一直在吃,进入循环 while True: food = q.get() # 当队列中没有东西的时候,该子进程会被卡住,进入阻塞状态 print('%s吃了%s'%(name,food)) q.task_done() # 该方法属于JoinableQueue,作用是告诉队列你已经从队列中取出一个数据并且处理完毕了if __name__ == '__main__': # 将q = Queue()改成下面的方法创建队列 q = JoinableQueue() # 两个生产者,分别生产的东西放进队列中 p1 = Process(target=producer,args=('zhang','包子',q)) p2 = Process(target=producer, args=('yang', '粥', q)) # 消费者从队列中取出东西吃掉 c1 = Process(target=consumer,args=('www',q)) p1.daemon = True # 守护主进程,主进程结束杀死子进程 p2.daemon = True c1.daemon = True p1.start() p2.start() c1.start() p1.join() p2.join() # 等待生产者生产完毕在执行下面的代码 q.join() # 等待队列中所有的数据被取完之后再执行下述代码 # JoinableQueue类 """ 该类是在queue类上的基础上添加了一个计数器,每当往队列中存放一个数据时,计数器会加1; 当你调用task_done时,计数器减1 q.join() 等待计数器为0的时候在执行该方法下面的代码 """