⑴ 日誌文件太大，python怎麼分割文件，多線程操作

python的多線程為偽多線程，多線程並不能提高文件IO的速度，在讀取文件時使用直接讀取 for line in open('文件名', 'r') 效率最高，因為此方式為直接讀取，不像其它方式要把文件全部載入到內存再讀取，所以效率最高。分割時文件時，提前計算好行數，把讀取的每固定數量的行數存入新文件，直接讀取完成，最後刪除舊文件，即可實現文件分割。

示意代碼：

line_count=0
index=0
fw=open('part'+str(index)+'.log','w')
forlineinopen('filename.log','r'):
fw.write(line)
line_count+=1
#假設每10000行寫一個文件
ifline_count>10000:
fw.close()
index+=1
fw=open('part'+str(index)+'.log','w')
fw.close()

⑵ Python如何跑多線程

Python多線程運行：
使用線程可以把占據長時間的程序中的任務放到後台去處理。
用戶界內面可以容更加吸引人，這樣比如用戶點擊了一個按鈕去觸發某些事件的處理，可以彈出一個進度條來顯示處理的進度
程序的運行速度可能加快
在一些等待的任務實現上如用戶輸入、文件讀寫和網路收發數據等，線程就比較有用了。在這種情況下我們可以釋放一些珍貴的資源如內存佔用等等。
線程在執行過程中與進程還是有區別的。每個獨立的線程有一個程序運行的入口、順序執行序列和程序的出口。但是線程不能夠獨立執行，必須依存在應用程序中，由應用程序提供多個線程執行控制。
每個線程都有他自己的一組CPU寄存器，稱為線程的上下文，該上下文反映了線程上次運行該線程的CPU寄存器的狀態。
指令指針和堆棧指針寄存器是線程上下文中兩個最重要的寄存器，線程總是在進程得到上下文中運行的，這些地址都用於標志擁有線程的進程地址空間中的內存。
線程可以被搶占(中斷)。
在其他線程正在運行時，線程可以暫時擱置(也稱為睡眠) -- 這就是線程的退讓。

⑶ python循環怎麼用多線程去運行

背景：Python腳本：讀取文件中每行，放入列表中；循環讀取列表中的每個元素，並做處理操作。
核心：多線程處理單個for循環函數調用
模塊：threading
第一部分：

：多線程腳本 (該腳本只有兩個線程，t1循環次數<t2)#!/usr/bin/env python#-*- coding: utf8 -*- import sysimport timeimport stringimport threadingimport datetimefileinfo = sys.argv[1] # 讀取文件內容放入列表host_list = []port_list = [] # 定義函數：讀取文件內容放入列表中def CreateList(): f = file(fileinfo,'r') for line in f.readlines(): host_list.append(line.split(' ')[0]) port_list.append(line.split(' ')[1]) return host_list return port_list f.close() # 單線程 循環函數，注釋掉了#def CreateInfo(): # for i in range(0,len(host_list)): # 單線程：直接循環列表# time.sleep(1)# TimeMark = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')# print "The Server's HostName is %-15s and Port is %-4d !!! [%s]" % (host_list[i],int(port_list[i]),TimeMark)# # 定義多線程循環調用函數def MainRange(start,stop): #提供列表index起始位置參數 for i in range(start,stop): time.sleep(1) TimeMark = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') print "The Server's HostName is %-15s and Port is %-4d !!! [%s]" % (host_list[i],int(port_list[i]),TimeMark) # 執行函數，生成列表CreateList()# 列表分割成：兩部分 mid為列表的index中間位置mid = int(len(host_list)/2) # 多線程部分threads = []t1 = threading.Thread(target=MainRange,args=(0,mid))threads.append(t1)t2 = threading.Thread(target=MainRange,args=(mid,len(host_list)))threads.append(t2) for t in threads: t.setDaemon(True) t.start()t.join()print "ok"

以上是腳本內容！！！
----------------------------------------------------------------------
：讀取文件的內容
文件內容：
[root@monitor2 logdb]# cat hostinfo.txt
192.168.10.11 1011
192.168.10.12 1012
192.168.10.13 1013
192.168.10.14 1014
192.168.10.15 1015
192.168.10.16 1016
192.168.10.17 1017
192.168.10.18 1018
192.168.10.19 1019
192.168.10.20 1020
192.168.10.21 1021
192.168.10.22 1022
192.168.10.23 1023
192.168.10.24 1024
192.168.10.25 1025

：輸出結果：
單線程 : 執行腳本：輸出結果：
[root@monitor2 logdb]# ./Threadfor.py hostinfo.txt
The Server's HostName is 192.168.10.10 and Port is 1010 !!! [2017-01-10 14:25:14]
The Server's HostName is 192.168.10.11 and Port is 1011 !!! [2017-01-10 14:25:15]
The Server's HostName is 192.168.10.12 and Port is 1012 !!! [2017-01-10 14:25:16]
.
.
.
The Server's HostName is 192.168.10.25 and Port is 1025 !!! [2017-01-10 14:25:29]

多線程：執行腳本：輸出 結果
[root@monitor2 logdb]# ./Threadfor.py hostinfo.txt
The Server's HostName is 192.168.10.11 and Port is 1011 !!! [2017-01-10 14:51:51]
The Server's HostName is 192.168.10.18 and Port is 1018 !!! [2017-01-10 14:51:51]
The Server's HostName is 192.168.10.12 and Port is 1012 !!! [2017-01-10 14:51:52]
The Server's HostName is 192.168.10.19 and Port is 1019 !!! [2017-01-10 14:51:52]
The Server's HostName is 192.168.10.13 and Port is 1013 !!! [2017-01-10 14:51:53]
The Server's HostName is 192.168.10.20 and Port is 1020 !!! [2017-01-10 14:51:53]
The Server's HostName is 192.168.10.14 and Port is 1014 !!! [2017-01-10 14:51:54]
The Server's HostName is 192.168.10.21 and Port is 1021 !!! [2017-01-10 14:51:54]
The Server's HostName is 192.168.10.15 and Port is 1015 !!! [2017-01-10 14:51:55]
The Server's HostName is 192.168.10.22 and Port is 1022 !!! [2017-01-10 14:51:55]
The Server's HostName is 192.168.10.16 and Port is 1016 !!! [2017-01-10 14:51:56]
The Server's HostName is 192.168.10.23 and Port is 1023 !!! [2017-01-10 14:51:56]
The Server's HostName is 192.168.10.17 and Port is 1017 !!! [2017-01-10 14:51:57]
The Server's HostName is 192.168.10.24 and Port is 1024 !!! [2017-01-10 14:51:57]
The Server's HostName is 192.168.10.25 and Port is 1025 !!! [2017-01-10 14:51:58]

⑷ python 怎麼實現多線程的

創建函數並且傳入Thread 對象中
t.py 腳本內容
import threading,time
from time import sleep, ctime
def now() :
    return str( time.strftime( '%Y-%m-%d %H:%M:%S' , time.localtime() ) )

def test(nloop, nsec):
    print 'start loop', nloop, 'at:', now()
    sleep(nsec)
    print 'loop', nloop, 'done at:', now()

def main():
    print 'starting at:',now()
    threadpool=[]

    for i in xrange(10):
        th = threading.Thread(target= test,args= (i,2))
        threadpool.append(th)

    for th in threadpool:
        th.start()

    for th in threadpool :
        threading.Thread.join( th )

    print 'all Done at:', now()

if __name__ == '__main__':
        main()

⑸ 有3個文件1.txt 2.txt 3.txt 我想利用python多線程同時查看3個文件的內容

#-*-coding:utf-8-*-
importthreading


defread(file_uri):
withopen(file_uri)asfp:
foriinfp.readlines():
printfile_uri,i


a=threading.Thread(name='daemon',target=read,args=('1.txt',))
a.setDaemon(True)
a.start()

b=threading.Thread(name='daemon',target=read,args=('2.txt',))
b.setDaemon(True)
b.start()

c=threading.Thread(name='daemon',target=read,args=('3.txt',))
c.setDaemon(True)
c.start()

a.join()
b.join()
c.join()

不知道你為什麼有這樣的要求，其實沒啥意義。如果想分次讀取文件，會讓內容變亂，如果想順序，還要枷鎖，還不如不使用線程了。


如果解決了您的問題請點贊！
如果未解決請繼續追問

⑹ python py文件同時開兩個線程可以嗎

可以的。
Python 多線程
多線程類似於同時執行多個不同程序，多線程運行有如下優點：

使用線程可以把占據長時間的程序中的任務放到後台去處理。
用戶界面可以更加吸引人，這樣比如用戶點擊了一個按鈕去觸發某些事件的處理，可以彈出一個進度條來顯示處理的進度
程序的運行速度可能加快
在一些等待的任務實現上如用戶輸入、文件讀寫和網路收發數據等，線程就比較有用了。在這種情況下我們可以釋放一些珍貴的資源如內存佔用等等。
線程在執行過程中與進程還是有區別的。每個獨立的進程有一個程序運行的入口、順序執行序列和程序的出口。但是線程不能夠獨立執行，必須依存在應用程序中，由應用程序提供多個線程執行控制。

每個線程都有他自己的一組CPU寄存器，稱為線程的上下文，該上下文反映了線程上次運行該線程的CPU寄存器的狀態。

指令指針和堆棧指針寄存器是線程上下文中兩個最重要的寄存器，線程總是在進程得到上下文中運行的，這些地址都用於標志擁有線程的進程地址空間中的內存。

線程可以被搶占（中斷）。
在其他線程正在運行時，線程可以暫時擱置（也稱為睡眠） -- 這就是線程的退讓。

⑺ Python實驗：採用多線程在一個文件中查找特定字元串

importthreading,time
defcountstr(f):
globalfindstr,occurtimes
times=0
forstringinf:
iffindstrinstring:
times+=1
occurtimes.append(times)

occurtimes=[]
threadnum=int(raw_input("pleaseinputthreadnumber:"))
filename=raw_input("pleaseinputfilename:")
findstr=raw_input("pleaseinputtofindstring:")
text=open(filename).readlines()
start=time.time()
threads=[]
foriinrange(threadnum):
t=threading.Thread(target=countstr,args=(text[i::threadnum],))
threads.append(t)
t.start()
fortinthreads:
t.join()
end=time.time()
print("multithreasing%.5fseocnds"%(end-start))
print('string"%s"occurs%dtimes'%(findstr,sum(occurtimes)))
print
occurtimes=[]
start=time.time()
countstr(text)
end=time.time()
print("singlethreaing%.5fseconds"%(end-start))
print('string"%s"occurs%dtimes'%(findstr,sum(occurtimes)))

⑻ python多線程:tarfile.py中遇到的問題

這個錯誤表示, 打開的不是一個有效的tar文件.

⑼ python的文件write是多線程安全的嗎

FileIO objects are thread-safe to the extent that the operating system calls (such as read(2) under Unix) they are wrapping are thread-safe too. Binary buffered objects (instances of BufferedReader, BufferedWriter, BufferedRandom and BufferedRWPair) protect their internal structures using a lock; it is therefore safe to call them from multiple threads at once. TextIOWrapper objects are not thread-safe.

⑽ python3 做一個多線程下載文件的程序 多線程問題

可以用is_active來判斷。
不過你可以預分配文件空間，直接寫，主要不沖突就行了。