首页>>后端>>Python->python多进程读取,python多进程读取超大文件

python多进程读取,python多进程读取超大文件

时间:2024-01-17 本站 点击:10

Python多进程运行——Multiprocessing基础教程2

1、每当python程序启动时,同时也会启动一个服务器进程。随后,只要我们需要生成一个新进程,父进程就会连接到服务器并请求它派生一个新进程。这个服务器进程可以保存Python对象,并允许其他进程使用代理来操作它们。

2、Python提供了multiprocessing。 multiprocessing模块用来开启子进程,并在子进程中执行我们定制的任务(比如函数),该模块与多线程模块threading的编程接口类似。

3、上述代码是普通的函数定义和执行,按流程分别执行两个函数中的代码,并先后会输出: 4 。但如果介入协程技术那么就可以实现函数见代码切换执行,最终输入: 4 。

Python入门系列(十二)——GUI+多进程

进程之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式来交换数据。我们接下来就以Queue的方式进行学习。

是系统独立调度核分配系统资源(CPU、内存)的基本单位,进程之间是相互独立的,每启动一个新的进程相当于把数据进行了一次克隆。 python提供了多种方法实现了多进程中间的 (可以修改同一份数据)。

Python提供了多个用于创建图形用户界面(GUI)的库,其中Tkinter是最常用的一个。它是Python的标准图形库,自带于Python,无需额外安装。

为什么在Python里推荐使用多进程而不是多线程

1、多线程是在一个进程中运行多个线程,而多进程是在一个进程中运行多个程序。多线程共享同个地址空间、打开的文件以及其他资源,而多进程共享物理内存、磁盘、打印机以及其他资源。

2、监控一个信号就起一个线程与进程处理。这样的逻辑是不太合适的。所有的资源都是有限的,如果这样浪费很快会资源管理失控。常规的做法是起一个线程池,或者是进程池。 使用线程还是进程取决于你处理的信号的类型。

3、IO密集型代码(文件处理、网络爬虫等),多线程能够有效提升效率(单线程下有IO操作会进行IO等待,造成不必要的时间浪费,而开启多线程能在线程A等待时,自动切换到线程B,可以不浪费CPU的资源,从而能提升程序执行效率)。

4、原因是:每个进程有各自独立的GIL,互不干扰,这样就可以真正意义上的并行执行,所以在python中,多进程的执行效率优于多线程(仅仅针对多核CPU而言)。

python多进程读取的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于python多进程读取超大文件、python多进程读取的信息别忘了在本站进行查找喔。


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/Python/125065.html