现在cpu动不动就是6核12进程，计算能力越来越强，但是我们真的都用上了么？在跑python代码时，请打开你的后台监控，看看python的CPU占比。如果不做特殊处理（排除你调用的库），很有可能你的代码最高只能占用100%，资源利用率低下。
还有另外一个故事，当你的计算复杂度很高的时候，比如处理某些大文件，如果你只用一个进程，很有可能得跑24小时，为了加速，你就得想办法把你的计算资源用起来，想办法并行运算。那么python什么库是来帮助我们进行并行计算的呢？
有请我们的multiprocess同学来发表获奖感言，“感谢cctv，感谢铁岭tv…”
2. multiprocess详解multiprocess提供了两个类来实现多进程计算
2.1 Process 初始化 ，__init__(self, group=None, target=None, name=None, args=(), kwargs={}) 其中group分组，通常不用；target是要执行的函数；name名称；args表示给函数传递的参数 def do(i):print(f"我是进程小{i} 我为自己带盐！")for i in range(3):p = Processor(target=do, args=(i, ), name=f"work_{i}")p.start() 参数共享，python每次开启一个子进程，通常是把数据复制到子进程，不同进程之间没有参数共享。mutliprocess提供了一些类来实现参数共享，包括Array、Manager和Queue。个人在进行人文分类任务时，读取大训练集合的时候喜欢用到Queue来实现参数共享，参考一下代码[1] 。 import multiprocessingfrom multiprocessing import Processfrom multiprocessing import Queuedef func(i, q): ret = q.get() print("进程%s从队列里获取了一个%s，然后又向队列里放入了一个%s" % (i, ret, i)) q.put(i)if __name__ == "__main__": lis = Queue(20) lis.put(0) # 往lis中压入 for i in range(10): p = Process(target=func, args=(i, lis,)) p.sta使用Queue的优势，制定一个有限长队列，消费完成后可以销毁，这样内存消耗就有限，遇到几百G大的训练数据，可以不用一次性加载，但是因为要并行，可以通过多进程把部分读如队列里面，然后你进行多进程消费。
2.2 Pool （进程池）进程池方法是个人最早接触的方法，感觉特别简单，你只要开启进程池，然后借助map方法，分分钟实现多进程。
from multiprocessing import Pooldef do(name):print(f"hello {name}")name_list = ["liming", "hanmeimei", "xiaogang"]pool = Pool(3) # 制定要开启的进程数, 限定了进程上限pool.map(do, name_list)pool.close()pool.join()是不是很简单，除了map方法，Pool还有apply、apply_async 、map_async方法，不一一解说，大家可以参考[2、3]。
写在最后当你的代码慢到阻碍你幸福生活的时候，请想办法加速！如果你用的是python，请记起你的老朋友——multiprocess！
名词解释 同步，调用方和被调用方结果一起返回异步，调用方返回但是被调用方结果还没有返回阻塞，阻塞调用是指调用结果返回之前，当前线程会被挂起非阻塞，非阻塞调用指在不能立刻得到结果之前，该调用不会阻塞当前线程 参考 https://www.liujiangblog.com/course/python/82 (Process)https://www.cnblogs.com/ailiailan/p/11850710.html （multiprocessing.Pool）https://www.cnblogs.com/nickchen121/p/11130258.html （multiprocessing.Pool）https://www.cnblogs.com/loveer/p/11479249.htmlhttps://www.zhihu.com/question/19732473