上篇我们介绍了Python的多线程模式，也了解了在python中有GIL这么个东西，所以cpu密集型的程序在python中是无法实现真正并发的，因为实际执行的还的单个线程，可现在的服务器都至少是16核，那岂不浪费了， 所以如果我们想要重分利用cpu资源，我们就需要在Python中采用多进程模式，就是用进程的方式实现并发，在Python下实现多进行时用multiprocessing模块来实现，这个模块用法跟threading.Thread非常类似，但不同的时它没有GIL锁，可以在多核CPU机器上来实现真正的并发执行，关于进程线程概念就不多说了，上篇已经全部介绍了，这篇就直接就直接上代码了，代码是在上篇基础上进行的修改，如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
#!/usr/bin/evn python import requests import time from multiprocessing import Process def get_site_code(url): r = requests.get(url) status = r.status_code line = url + ' ' + str(status) with open('/tmp/site_stauts.txt', 'a+') as f: f.writelines(line + '\n') if __name__ == '__main__': print 'starting at:', time.ctime() jobs = [] for url in open('urls.txt'): url = url.strip() p = Process(target=get_site_code, args=(url,)) jobs.append(p) for p in jobs: p.start() for p in jobs: p.join() print 'Done at:', time.ctime() |
从上面代码可以看到，在使用上真的非常像线程，而且大部分方法的功能也是一样的，这里是用Process创建进程对象，join()方法等待进程池中的全部进程，target我们给一个可调用对象，这是我认为最简答的方式，给了一个函数，函数内容还是上篇的内容我基本没动，一样运行没有任何问题。
上面这种方法我们已经实现了多进程，如果任务执行的对象不算太多是可以的，但如果任务时间比较长且操作对象比较多可能会出现进程占用系统资源过度造成服务器慢的情况，因为同时在机器上启动上百上千个进程，而且短时间任务执行不完，就会非常的耗系统资源，机器估计卡的用不了，怎么解决这种问题呢，这就需要用到我们的进程池了，使用Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，进程池的大小可以参考机器CPU核数来指定，那么这样一来，我们的代码需要修改如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 |
#!/usr/bin/evn python import requests import time from multiprocessing.pool import Pool def get_site_code(url): r = requests.get(url) status = r.status_code line = url + ' ' + str(status) with open('/tmp/site_stauts.txt', 'a+') as f: f.writelines(line + '\n') if __name__ == '__main__': url_list = [] print 'starting at:', time.ctime() for url in open('urls.txt'): url = url.strip() url_list.append(url) pool = Pool(5) pool.map(get_site_code,url_list) print 'Done at:', time.ctime() |
可以看到我们使用了进行池，代码逻辑反而简单了，这里map函数跟python中内置的map功能一样，它需要2个参数，一个是函数，一个是序列，不同的是它可以支持多进程，这里我设定了5个进程，就是最多可以跑5个进程，这样一来就解决了我们上面提到的问题。
关于并发编程的内容就写这2篇了，随着这篇的结束，我觉得python的基础部分就要告一段了，当然如果在基础部分还有想了解的内容，可以后台留言给我，我会穿插到后续的文章中，另外如果小伙伴是一路跟过来的话，我相信你已经能熟练运用python来实现工作中的一些需求了， 但我们python的学习之路远不止如此，因为随着各个公司业务的复杂度提升，对运维人员技能要求也越来越高，如何快速完成需求，如何把运维繁杂的任务简单化，这可能是大多数公司运维要解决的问题，要达到这条路我个人觉得离不开web运维自动化平台，通过平台使我们运维的一些工作通过平台点几下鼠标就可以完成，所以我认为这才是我们的学习目标， 但要实现这个目标，就要进入我们下一个阶段的学习了，下个阶段我们主要介绍python web框架Django技术， 还清小伙伴多多支持（请戳右上角）。